Keyword Gap
LLM’s uitvoeren in de browser: hoe we WebGPU en WebLLM gebruiken voor privacy-first cv-bewerking
Elke AI-aangedreven cv-tool die momenteel op de markt is, stuurt uw gegevens naar een server. Ze zullen je vertellen dat het ‘veilig’ is. Ze wijzen naar SOC 2-nalevingsbadges. Maar dit is de technische realiteit: als je CV je apparaat verlaat, is het niet langer exclusief van jou. Het bevindt zich in een database, in een logbestand, in een trainingspijplijn of in een datalek dat op komst is.
Wij weigerden deze afweging te accepteren. Daarom hebben we iets anders gebouwd: een volledig client-side AI-cv-rewriter die een taalmodel met 500 miljoen parameters rechtstreeks in uw browser uitvoert met behulp van WebGPU en Transformers.js. Geen API-sleutels. Geen cloud-gevolgtrekking. Geen server.
In deze technische diepgaande duik leer je:
- Waarom serverloze AI de enige echt private architectuur is voor gevoelige documenten
- Hoe WebGPU GPU-versnelde inferentie in de browser ontgrendelt
- De exacte stapel die we hebben gebruikt (Astro, Transformers.js, Xenova/Qwen1.5-0.5B-Chat)
- De technische uitdagingen bij het verzenden van een model van 300 MB naar een browsertabblad
- Prestatiebenchmarks en latentiecijfers uit de praktijk
De privacyparadox van moderne AI-tools
AI-herschrijvers van cv’s zijn enorm populair geworden. Tools als Teal, Resume.io en Jobscan bieden ‘AI-aangedreven bullet rewriting’ dat magisch klinkt – totdat je de kleine lettertjes leest. Ze werken bijna allemaal op een client-server-architectuur:
- Je plakt je cv in een webformulier
- Uw gegevens worden tijdens de verzending versleuteld (TLS)
- Het wordt gedecodeerd op een cloudserver
- Een LLM API (OpenAI, Anthropic of een zelfgehost model) verwerkt het
- De herschreven tekst wordt teruggestuurd
Dit ziet er op het eerste gezicht veilig uit. Maar het aanvalsoppervlak is enorm:
- Serverlogboeken kunnen uw volledige CV bewaren voor foutopsporing
- LLM-API’s van derden kunnen trainen op uw gegevens, tenzij u betaalt voor ondernemingsniveaus
- Datalekken leggen CV’s bloot met huisadressen, telefoonnummers, arbeidsverleden en salarisgegevens
- Leemten in de naleving: de meeste tools voldoen niet aan de AVG voor gebruikers in de EU omdat ze verwijdering niet kunnen garanderen
Waar het op neerkomt: Als uw cv een server raakt, vertrouwt u erop dat een derde partij uw meest gevoelige professionele document niet leest, registreert, lekt of er inkomsten mee genereert. Dat is geen weddenschap die we onze gebruikers willen vragen.
Waarom AI aan de clientzijde alles verandert
AI aan de clientzijde verandert de architectuur volledig. In plaats van uw gegevens naar het model te sturen, sturen wij het model naar uw gegevens. De LLM wordt rechtstreeks naar het geheugen van uw browser gedownload, draait op uw lokale GPU of CPU en verzendt nooit uw cv-tekst van uw apparaat.
De gevolgen voor de privacy zijn absoluut:
- Geen netwerkoproepen met uw cv-gegevens
- Geen serverlogboeken met uw persoonlijke gegevens
- Geen LLM API’s van derden met ondoorzichtig gegevensbeleid
- Geen risico op datalekken vanuit onze infrastructuur – omdat we geen infrastructuur hebben die in aanraking komt met uw gegevens
Maar AI aan de clientzijde is niet alleen een privacyspel. Het levert ook tastbare prestatievoordelen op:
- Geen latentie bij retourvluchten naar een afgelegen datacenter
- Geen tarieflimieten of API-quota
- Geen abonnementspoorten voor AI-functies
- Offline mogelijkheden zodra het model in de cache is opgeslagen
WebGPU: de browser als rekenmachine
Tot voor kort was het uitvoeren van LLM’s in de browser rekenkundig onhaalbaar. WebGL was de enige beschikbare GPU-API en was ontworpen voor grafische doeleinden, niet voor algemene computergebruik. Toen arriveerde WebGPU.
Wat is WebGPU?
WebGPU is een webstandaard van de volgende generatie die moderne GPU-mogelijkheden (Vulkan, Metal, DirectX 12) rechtstreeks aan JavaScript blootstelt. In tegenstelling tot WebGL ondersteunt het GPU-compute-shaders voor algemeen gebruik, waardoor het ideaal is voor matrix-zware operaties zoals neurale netwerkinferentie.
Belangrijkste mogelijkheden die browser-LLM’s mogelijk maken:
- Compute-pijplijnen — Voer massaal parallelle matrixvermenigvuldigingskernels uit
- Unified Memory Model — Directe GPU-buffertoegang zonder dure CPU-GPU-kopieën
- Shader-talen — Schrijf WGSL (WebGPU Shading Language) voor aangepaste inferentiekernels
- Cross-platform — Werkt op Chrome, Edge, Firefox en Safari met native prestaties
WebGPU vs. WebGL voor LLM Inference
| Kenmerk | WebGL | WebGPU |
|---|---|---|
| Compute-shaders | ❌ Nee | ✅ Ja |
| Matrixbewerkingen | Langzaam (gesimuleerd) | Native, parallel |
| Geheugenefficiëntie | Hoge CPU-GPU-overhead | Uniform, lage overhead |
| LLM-inferentiesnelheid | ~10-20 tokens/sec | ~50-100 tokens/sec |
| Browserondersteuning | Universeel | Moderne browsers (94%+) |
Voor ons gebruiksscenario – het herschrijven van cv-opsommingstekens met een 500M-parametermodel – levert WebGPU 4-5x snellere gevolgtrekking dan een fallback met alleen CPU en 2-3x sneller dan een op WebGL gebaseerde aanpak.
Onze stapel: Astro + Transformers.js + Xenova/Qwen1.5
Het bouwen van een AI-rewriter aan de clientzijde vereiste zorgvuldige technologische keuzes. We hadden een raamwerk nodig dat snel, minimaal en compatibel was met zware browser-side berekeningen. Dit is de exacte architectuur waarop we zijn beland.
Framework: Astro
We kozen voor Astro vanwege zijn zero-JS-by-default filosofie. De meeste CV-tools zijn opgeblazen React-apps die 500 KB+ JavaScript leveren voordat de gebruiker zelfs maar zijn CV kan plakken. Met Astro kunnen we statische HTML leveren voor de landingspagina en blog, en vervolgens alleen de interactieve componenten (de editor, het AI-paneel) hydrateren waar nodig.
Waarom Astro belangrijk is voor AI aan de clientzijde:
- De initiële paginabelasting bedraagt minder dan 50 KB JavaScript
- Het zware AI-model wordt on-demand geladen wanneer de gebruiker op “Herschrijven met AI” klikt
- Geen hydratatie-overhead voor statische inhoud zoals onze blog of marketingpagina’s
AI Runtime: Transformers.js
Hugging Face’s Transformers.js is de brug die dit mogelijk maakt. Het is een port van de Python Transformers-bibliotheek naar ONNX Runtime Web, waardoor vooraf getrainde modellen in de browser kunnen worden uitgevoerd via WebGPU- of WebGL-fallbacks.
Belangrijke technische details:
- Modellen zijn gekwantiseerd op INT8 om de grootte en het geheugengebruik te verkleinen
- We gebruiken de ONNX Runtime Web-backend met een WebGPU-uitvoeringsprovider
- De pijplijn verwerkt tokenisatie, inferentie en decodering end-to-end in de browser
Modelkeuze: Xenova/Qwen1.5-0.5B-Chat
We hebben meerdere modellen geëvalueerd voordat we genoegen namen met Qwen1.5-0.5B-Chat via de Xenova ONNX-poorten:
Selectiecriteria:
- Klein genoeg om te downloaden (~300 MB gekwantificeerd) zonder de gebruikerservaring te vernietigen
- Sterke instructies voor de aanwijzingen “herschrijf deze kogel om meer impact te hebben”.
- Permissieve licentie voor commercieel gebruik
- Snelle gevolgtrekking op consumenten-GPU’s (generatie van minder dan 3 seconden voor korte herschrijvingen)
We hebben Llama-2-7B, Mistral-7B en Phi-2 getest. Ze waren allemaal te groot (meer dan 1,5 GB) of te langzaam voor realtime browserafleiding. Qwen1.5-0.5B treft de goede plek: klein genoeg om praktisch te zijn, capabel genoeg om nuttig te zijn.
De technische uitdagingen waar niemand over praat
Een model van 300 MB naar een browsertabblad verzenden klinkt in theorie eenvoudig. In de praktijk was het een maandenlange technische inspanning. Dit zijn de drie moeilijkste problemen die we hebben opgelost.
Uitdaging 1: Progressieve modeldownloads
Een download van 300 MB via een 4G-verbinding zou 2-3 minuten duren en waarschijnlijk een browsertime-out veroorzaken. We hebben een progressief gefragmenteerd downloadsysteem geïmplementeerd:
- Het model is opgesplitst in scherven van 10 MB
- Elke Shard wordt gedownload met logica voor opnieuw proberen en exponentiële uitstel
- Een aangepaste voortgangsbalk-UI zweeft in de rechterbovenhoek en toont real-time gedownloade MB’s
- Het model wordt na de eerste download in de cache van IndexedDB opgeslagen, zodat volgende bezoeken onmiddellijk worden geladen
Resultaat: Nieuwe gebruikers zien een download van ongeveer 45 seconden op gemiddelde breedband. Terugkerende gebruikers kunnen het model in minder dan 2 seconden uit de cache laden.
Uitdaging 2: WebGPU Context Lifecycle Management
WebGPU-apparaatcontexten zijn kieskeurig. Als een gebruiker van tabblad wisselt, de browser minimaliseert of zijn laptop in de sluimerstand zet, kan de GPU-context verloren gaan. We moesten een robuust contextherstelsysteem bouwen:
- Detecteer
gpu.lost-gebeurtenissen en herinitialiseer de inferentiepijplijn op een elegante manier - Val terug op CPU (WASM)-gevolgtrekking als WebGPU niet meer beschikbaar is
- Zorg voor duidelijke UI-berichten: “Overschakelen naar CPU-modus: herschrijven kan iets langer duren.”
Resultaat: De AI-rewriter werkt betrouwbaar in Chrome, Edge en Firefox, zelfs op systemen met agressief energiebeheer.
Uitdaging 3: Geheugendruk op 8GB RAM-machines
Een model met 500M-parameters in INT8 verbruikt nog steeds ~600MB GPU/CPU-geheugen. Gecombineerd met PDF-parsing, de Quill rich text-editor en ons Kanban-bord verlegden we de grenzen van budgetlaptops.
Onze optimalisaties:
- Lazyloading — Het model wordt alleen gedownload wanneer de gebruiker expliciet op “Herschrijven” klikt
- Modelverwijdering — Als de gebruiker het AI-paneel binnen 10 minuten niet heeft gebruikt, halen we het model uit het geheugen (het blijft in IndexedDB zodat het snel opnieuw kan worden geladen)
- Gevolgtrekking buiten de hoofdthread — Alle LLM-bewerkingen worden uitgevoerd in een Web Worker om bevriezing van de gebruikersinterface te voorkomen
Resultaat: De scanner werkt soepel op machines met 8 GB RAM, inclusief Chromebooks uit het middensegment.
Prestatiebenchmarks: reële cijfers
We hebben onze AI-rewriter aan de clientzijde vergeleken met cloudgebaseerde alternatieven onder identieke omstandigheden. Dit is wat we hebben gevonden:
| Metrisch | Onze AI aan de klantzijde | Cloud-API (GPT-4o-mini) | Cloud-API (Claude Haiku) |
|---|---|---|---|
| Eerste gevolgtrekkingslatentie | 45s (downloaden) + 2,3s | 1,2s | 1,8s |
| Latentie voor daaropvolgende gevolgtrekkingen | 2,3s | 1,2s | 1,8s |
| Privacy | Absoluut (nulnetwerk) | Serverlogboeken + API-retentie | Serverlogboeken + API-retentie |
| Offline geschikt | Ja | Nee | Nee |
| Tarieflimieten | Geen | Ja (RPM/TPM-limieten) | Ja (RPM/TPM-limieten) |
| Kosten voor gebruiker | Gratis | Abonnement van $ 5-20/maand | Abonnement van $ 5-20/maand |
| Gegevenseigendom | 100% gebruiker | Platform-afhankelijk | Platform-afhankelijk |
De afweging is duidelijk: Nieuwe gebruikers offeren ~45 seconden op voor het downloaden van modellen. Daarna is elke herschrijving gratis, privé, onbeperkt en offline mogelijk. Voor een tool die gevoelige carrièregegevens verwerkt, zijn wij van mening dat dit de juiste afweging is.
Waarom deze architectuur belangrijk is voor de toekomst van Web AI
We bouwen niet alleen een cv-scanner. We bewijzen dat de toekomst van AI niet vereist dat u uw gegevens inlevert.
Elk groot AI-bedrijf pusht cloud-inferentie omdat dit winstgevend is. Maar de technische mogelijkheden voor krachtige, private AI aan de clientzijde zijn er al. WebGPU is volwassen. Transformers.js is klaar voor productie. Gekwantiseerde modellen zijn verrassend capabel.
Wat dit betekent voor gebruikers:
- U kunt door AI ondersteunde hulp bij het hervatten krijgen zonder uw arbeidsverleden aan een derde partij toe te vertrouwen
- U kunt AI-tools gebruiken op wifi in vliegtuigen, bedrijfsfirewalls of beperkende netwerken
- U bent eigenaar van uw gegevens, uw modelgewichten en uw gevolgtrekkingsresultaten
Wat dit betekent voor ontwikkelaars:
- De browser is een legitiem AI-implementatiedoel
- U kunt geavanceerde NLP-functies bouwen zonder API-facturen
- Privacy-first-architectuur is een concurrentiedifferentiator, geen beperking
Hoe u onze AI-rewriter aan de clientzijde kunt uitproberen
Onze privé-ATS-scanner bevat de AI-rewriter als een ingebouwde functie. Hier is hoe het werkt:
- Upload je CV (PDF of DOCX) — volledig in de browser geparseerd, nooit geüpload
- Selecteer een opsommingsteken in de RTF-editor
- Klik op “Herschrijven met AI” — het model wordt gedownload (alleen de eerste keer) en genereert een sterkere, voor trefwoorden geoptimaliseerde versie
- Vergelijk, bewerk en accepteer de suggestie – allemaal zonder een enkele netwerkoproep die uw gegevens overdraagt
→ Probeer de privé AI-cv-rewriter in onze client-side scanner
Belangrijkste punten
- Client-side AI met behulp van WebGPU en Transformers.js is productieklaar voor het herschrijven van cv’s en NLP-taken
- WebGPU levert 4-5x snellere inferentie dan benaderingen met alleen CPU en wordt ondersteund door meer dan 94% van de moderne browsers
- Een model met 500M-parameters (Qwen1.5-0.5B-Chat) is voldoende voor het herschrijven van opsommingen van hoge kwaliteit terwijl het onder de 300 MB blijft
- Progressieve downloads, IndexedDB-caching en Web Workers zijn essentieel voor het verzenden van grote modellen naar consumentenapparaten
- De privacyvoordelen zijn absoluut — geen serverlogs, geen API-retentie, geen risico op datalekken
De webbrowser is niet langer alleen maar een documentviewer. Het is een veilige, private AI-computeromgeving. En we zijn nog maar net begonnen.
Wil je het in actie zien? Lanceer onze privé-ATS-scanner met ingebouwde AI-herschrijving →