Wat is lokale AI?

Lokale AI betekent dat een AI-model draait op je eigen hardware, in je eigen netwerk. Dat kan een gewone pc met een goede videokaart zijn, een aparte AI-computer of een server op kantoor. De rekenkracht staat bij jou; je data gaat niet naar een externe partij in de cloud.

Bij cloud-AI (zoals ChatGPT of Claude) stuur je je vraag naar de servers van een aanbieder, die het antwoord terugstuurt. Bij lokale AI gebeurt alles binnen je eigen muren: het model staat op jouw machine en verwerkt de data daar.

De voordelen

Geen kosten per gebruik. Cloud-AI rekent meestal af per "token" (stukje tekst). Hoe meer je verwerkt, hoe hoger de rekening. Lokale AI draait op hardware die je één keer aanschaft; daarna betaal je alleen stroom, hoeveel je het model ook gebruikt.

Privacy en controle over je data. Je documenten, klantgegevens en facturen verlaten je eigen netwerk niet. Voor gevoelige of vertrouwelijke informatie is dat vaak doorslaggevend: er gaat niets naar een externe server die je niet in de hand hebt.

Geen afhankelijkheid van internet of een externe dienst. Het model blijft werken als je internetverbinding hapert, en je bent niet afhankelijk van een aanbieder die zijn prijzen verhoogt, een model uitfaseert of een storing heeft.

Vrije keuze in modellen. Je kunt open modellen draaien die precies bij je taak passen en ze desgewenst zelf finetunen.

De nadelen

Je beheert het zelf. Bij cloud-AI onderhoudt de aanbieder de infrastructuur. Lokaal ben je zelf verantwoordelijk voor het draaiend houden: modellen installeren, updaten en de koppelingen met je eigen software bijhouden.

Meerdere gebruikers vragen om een wachtrij. Dit is een belangrijke. Wordt één lokale server door meerdere mensen in je netwerk tegelijk gebruikt, dan moet je de verzoeken netjes in een queue (wachtrij) afhandelen. Doe je dat niet, dan probeert de machine meerdere modellen tegelijk in het videogeheugen (VRAM) te laden. Past dat niet, dan wijkt hij uit naar het veel tragere gewone werkgeheugen. Het gevolg is dat de tekst er tergend langzaam uit komt, en daar wordt niemand blij van. Voor één gebruiker of een achtergrondproces speelt dat niet, maar bij een team richt je dit vanaf het begin goed in.

Grote modellen vragen om dure hardware. Kleine modellen draaien al op een bescheiden videokaart, maar wil je een groter, slimmer model, dan heb je meer videogeheugen (VRAM) nodig. En videokaarten met veel VRAM zijn een flinke investering.

Een klein model is geen frontier-model

Een klein lokaal model haalt niet de kwaliteit van een frontier cloud-model zoals de nieuwste ChatGPT of Claude. Het is minder "slim" bij complexe taken, en de context loopt bij zo'n klein model snel vol.

Dat is in de praktijk goed op te lossen. Bij lange taken die veel context gebruiken, splits je het werk op in subtaken en laat je de AI die één voor één afvinken. Raakt de context vol, dan pak je gewoon de volgende subtaak op, zonder dat het model alles opnieuw hoeft te begrijpen. Zo blijft ook een klein model bruikbaar voor groter werk.

Onze eigen bevinding: zo'n klein model kan een frontier cloud-model nog niet vervangen. Voor afgebakende, herhaalbare taken (zoals facturen uitlezen) is het prima; voor open, complex redeneerwerk merk je het verschil.

De sweetspot: 24 GB VRAM

Er bestaan ook grotere modellen die je lokaal kunt draaien en die dichter bij de frontier-modellen komen. Voor lokale AI is 24 GB VRAM daarbij een prettige sweetspot. Kaarten als een NVIDIA RTX 3090 of 4090 zitten in die klasse en gelden als de praktische ondergrens voor serieus lokaal werk. Wil je wat meer ruimte, dan zit je met een RTX 5090 op 32 GB.

Waarom juist 24 GB? Daarmee draai je slimme all-round modellen in de klasse van ongeveer 27 tot 32 miljard parameters (in gekwantiseerde vorm), zoals de grotere Qwen-modellen (bijvoorbeeld Qwen 32B) of DeepSeek V4 Flash. Dat is het punt waar een lokaal model echt bruikbaar wordt voor veeleisender werk: redeneren, code en het verwerken van documenten.

De écht frontier-nabije open modellen (denk aan de zwaarste DeepSeek-, GLM- of Nemotron-varianten) gaan daar nog een stuk overheen: die vragen tientallen tot honderden gigabytes VRAM en dus datacenter-hardware. Die haal je niet uit één consumentenkaart.

NVIDIA of AMD?

Voor lokale AI is een NVIDIA-kaart nog steeds de veiligste keuze. Dat komt door CUDA: de software waarmee AI-berekeningen op de kaart draaien. Zo goed als alle AI-modellen en -tools werken meteen op CUDA, zonder gedoe. AMD heeft met ROCm een eigen tegenhanger, maar daar moet je vaker zelf dingen uitzoeken en instellingen goed zetten voordat alles draait. Wil je zo min mogelijk rommelen en gewoon dat de meeste modellen direct werken, dan kies je NVIDIA. Meer weten over waarom AI op grafische kaarten draait? Lees Wat is CUDA?.

Onder de 24 GB kan overigens ook al veel. Het factuurexperiment in onze Labs draaide prima op een videokaart met zo'n 4 GB VRAM, omdat de gebruikte modellen licht waren.

Ter oriëntatie een paar NVIDIA-kaarten met hun VRAM en geheugenbandbreedte:

Twee getallen om op te letten, en ze doen elk iets anders. Het VRAM bepaalt wélke modellen erop passen; de geheugenbandbreedte (GB/s) bepaalt hoe snel het model tekst genereert zodra het geladen is. Meer bandbreedte betekent dus meer tokens per seconde.

Meer VRAM is meer mogelijkheden, maar ook een hogere prijs. Voor één machine die een breed scala aan taken aankan, is 24 GB de plek waar prijs en mogelijkheden mooi samenkomen.