Intel en SambaNova gaan samenwerken aan nieuwe systemen voor AI-inferentie. De bedrijven willen hiermee beperkingen van GPU-only-architecturen oplossen. De aankondiging geldt wereldwijd en is deze week bekendgemaakt. Doel is lagere kosten, minder energieverbruik en meer keuze voor Europese organisaties binnen de AI-verordening en AVG.
GPU-only schiet tekort
AI-inferentie is het uitvoeren van een getraind model om een antwoord te geven. Veel organisaties draaien dit nu vooral op GPU’s. Dat werkt, maar kent grenzen in kosten, energieverbruik en levertijden. Ook zijn geheugenlimieten en wachttijden een probleem bij grote taalmodellen.
Voor veel toepassingen zijn GPU’s zwaarder dan nodig. Denk aan klantvragen, zoekfuncties en documentanalyse. Daar telt vooral lage latency, voorspelbare prestaties en betaalbaarheid. Een mix van rekenkracht kan dan efficiënter zijn.
Daarnaast is er het risico op afhankelijkheid van één chiptype. Wereldwijd is de vraag naar GPU’s hoog en de aanvoer wisselend. Bedrijven lopen zo vertraging op bij projecten. Dat raakt ook publieke diensten en onderwijs in Nederland en Europa.
AI-inferentie: het moment waarop een algoritme een invoer verwerkt en een resultaat geeft, zoals een zin of voorspelling, op basis van eerder getrainde datamodellen.
Combinatie van rekenkracht
Intel en SambaNova kiezen voor een gecombineerde architectuur. Die gebruikt processors en accelerators naast elkaar, afgestemd op de taak. Zwaardere modeldelen draaien op versnellers, lichtere stappen op CPU’s. Zo blijft de keten snel en betaalbaar.
Intel levert hierbij de algemene rekenlaag en AI-versnelling binnen zijn processorfamilies en accelerators. SambaNova brengt zijn platform en optimalisaties voor grote modellen mee. Samen richten ze zich op inferentie op schaal, met beheer en monitoring voor bedrijven. De precieze configuratie hangt af van modelgrootte en datavolume.
Belangrijk is ook openheid en interoperabiliteit. Organisaties willen geen lock-in, maar keuze voor hardware en software. Ondersteuning voor gangbare modellen en frameworks is daarom onderdeel van de aanpak. Dat maakt migratie en uitbreiding eenvoudiger.
Impact AI-verordening op overheid
De Europese AI-verordening vraagt om risicobeheersing, transparantie en logging. Bij inferentie betekent dit herleidbare beslissingen, beveiliging en controle over data. Een flexibele infrastructuur helpt om deze eisen per use-case in te richten. Dat kan in de cloud, on-premises of hybride, met dezelfde bouwstenen.
Voor Nederlandse overheden en zorginstellingen telt ook de AVG. Dataminimalisatie en versleuteling zijn verplicht, net als duidelijke bewaartermijnen. Door inferentie dicht bij de data te draaien, verklein je overdrachtsrisico’s. Dat past bij strengere inkoopregels en sectorale richtlijnen.
Leveringszekerheid is een extra factor bij publieke diensten. Door niet alleen op GPU’s te leunen, verklein je het risico op tekorten. Bovendien kun je capaciteiten beter spreiden over meerdere locaties. Dat helpt bij continuïteit en kostenbeheersing.
Kosten en energie onder controle
De totale kosten van AI-inferentie bestaan uit hardware, stroom, koeling en beheer. GPU-only is vaak duur bij continue, middelzware werklast. CPU’s of lichtere accelerators zijn dan goedkoper per antwoord. Grote modellen vragen wel versnellingskracht, maar niet voor elke stap.
Energieverbruik is een knelpunt in Europese datacenters. Steden als Amsterdam en Dublin kennen netcapaciteitsdruk. Een mix-architectuur kan hetzelfde werk met minder watt doen. Dat verlaagt kosten en helpt bij duurzaamheidsdoelen.
Ook schaalbaarheid speelt mee. Met meerdere rekenlagen kun je capaciteit fijnmazig bijschakelen. Zo voorkom je overprovisioning van dure kaarten voor pieken. Dat maakt budgetten voorspelbaarder voor IT en bestuur.
Van pilot naar productie
Organisaties starten het best met een workload-scan. Bepaal per toepassing latency, doorvoer en vertrouwelijkheid. Koppel daar het juiste rekenprofiel aan: CPU-first voor licht werk, versnellers voor zware modeldelen. Begin met een afgebakende pilot en meet kosten per verzoek.
Voor productie zijn standaard bouwstenen handig. Denk aan model-serving, observability en beveiligde API’s. Versiebeheer en logging helpen bij audit onder de AI-verordening. Zorg dat data versleuteld is en dat toegang strikt wordt beperkt.
Tot slot is portabiliteit belangrijk. Kies voor modellen en tools die op meerdere platforms draaien. Dan kun je later wisselen van hardware of locatie zonder herschrijven. Dat vermindert risico en versnelt uitrol in Europa.