Wat als elke desktop-pc met één enkele improve een AI-inferentiebeest zou kunnen worden? En wat als dat getransformeerde beest nog steeds van de kracht dronk alsof hij van een martini genoot?

Dat is het idee dat werd geopperd Neuchipseen Taiwanese startup opgericht in 2019 en bekend om zijn levering AI-efficiëntie van topklasse. Het kwam tot CES onthuld in 2024—de pregame-show in de media vóór de belangrijkste gebeurtenis—met een PCIe-uitbreidingskaart die de AI-mogelijkheden van een typische desktopcomputer kan upgraden en tegelijkertijd slechts 55 watt aan het stroombudget van de computer toevoegt.

Het is niet alleen een idea. De kaart werd aangesloten op een desktopcomputer op de beursvloer en bood realtime, offline gesprekken met een chatbot, mogelijk gemaakt door Meta’s populaire Llama 2 7B groottaalmodel (Neuchips zegt dat de kaart ook Llama 2 13B zal gebruiken).

De kaart van Neuchips, de Evo PCIe-accelerator, is gebouwd rond de Raptor Gen AI-acceleratorchip van het bedrijf. De Raptor-chip levert “tot 200 tera-bewerkingen per seconde” en het bedrijf zegt dat hij geoptimaliseerd is voor op transformatoren gebaseerde modellen.

De kaart die Neuchips demonstreerde had de Raptor-chip, maar een enkele chip is niet de uiteindelijke vorm van de kaart. Neuchips-CEO Ken Laueen Intel veteraan van 26 jaar, zegt dat Raptor kan worden gebruikt om kaarten te ontwerpen met verschillende aantallen chips aan boord.

“De chip is eigenlijk schaalbaar”, zegt Lau. “Dus we beginnen met één chip. En dan hebben we vier fiches. En dan acht chips.” Elke chip biedt tot 200 biljoen operaties per seconde (TOPS). Neuchips persbericht. De kaart heeft ook 32 GB LPDDR5-geheugen en bereikt 1,6 terabyte aan geheugenbandbreedte. Geheugenbandbreedte is belangrijk, omdat dit vaak een issue is bij het omgaan met AI-inferentie op één computer.

Neuchips wil eigenaren ook de instruments geven die nodig zijn om de kaart effectief te gebruiken, hoewel de particulars hier met vele maanden vóór de launch een beetje schaars blijven. Een vertegenwoordiger van Neuchips zei dat het bedrijf compilersoftware heeft en een stuurprogramma zal leveren. De demonstratie die ik zag had een aangepaste interface voor interactie met het Llama 2 7B-model. De kaart van Neuchips liep, maar leek kaal.

Een focus op efficiëntie

Er bestaat al {hardware} die iedereen op het PCIe-slot van een desktop kan aansluiten om de AI-prestaties aanzienlijk te verbeteren. Het wordt een GPU genoemd en Nvidia heeft de markt in een wurggreep. Het zou moeilijk zijn om van teen tot teen met Nvidia te praten over de prestaties. In werkelijkheid, Nvidia heeft op CES 2024 nieuwe kaarten aangekondigd met een focus op AI; de RTX 4080 Tremendous, die vanaf 31 januari voor $ 999 te koop is, vermeldt AI-prestaties tot 836 TOPS.

Neuchips ziet echter een opening. “We zijn gefocust op energie-efficiëntie”, zegt Lau, “en op het omgaan met de vele verschillende modellen die er zijn.”

Moderne grafische kaarten zijn krachtig, maar hebben ook veel energie nodig. De RTX 4080 Tremendous kan tot 320 W aan stroom verbruiken en heeft doorgaans een pc nodig met een voeding die minimaal 750 W kan leveren. De Evo PCIe-accelerator van Neuchips verbruikt daarentegen slechts 55 W aan stroom. Het verbruikt in feite zo weinig stroom als de kaart van Neuchips demonstreerde CES had geen externe PCIe-stroomaansluiting. Dergelijke connectoren zijn een should voor de meeste GPU-kaarten.

Ik kreeg ook te horen dat de laatste kaart, die in de tweede helft van 2024 zou moeten worden verzonden, ongeveer de helft zo groot zal zijn als de kaart die op CES wordt getoond. Dat is een belangrijk element, aangezien de kaart die ik zag internet zo groot was als de meeste huidige Nvidia GPU-kaarten, en te groot voor de meeste desktopcomputers met een kleine vormfactor. Een kleinere kaart zou de Evo PCIe-accelerator bruikbaar maken in een breed scala aan moderne pc-hardware.

De accelerator van Neuchips, hoewel misschien wel de meest spraakmakende AI-acceleratorkaart op CES 2024, was verre van de enige op de present. Verschillende startups kwamen met hun eigen AI-versnellers met unieke functies. Panmnesia gained een CES Innovation Award voor een AI-versneller inclusief een Compute eXpress Hyperlink-interface voor toegang tot enorme geheugenpools. Andere bedrijven met AI-versnellers zijn onder meer DiepX En GeheugenX. Intel En AMD zijn er ook mee bezig; elk biedt een AI-versneller in de nieuwste CPU-architectuur.

Vergis je niet: Nvidia blijft de 800-pond-gorilla in deze area, en dat zal niet van de ene op de andere dag veranderen. Toch lijken nieuwe AI-versnellers zoals de Raptor van Neuchips en de Evo PCIe-kaart klaar om nieuwe opties te bieden voor ontwikkelaars die niets om graphics geven of behoefte hebben aan verbeterde energie-efficiëntie tijdens het uitvoeren van AI-inferentie.

De Evo PCI-accelerator van Neuchips zal naar verwachting in de tweede helft van 2024 volledig op de markt komen. De prijs moet nog worden aangekondigd.