De Consumer Electronics Show (CES) is misschien de laatste plaats waar je een enterprise product zou verwachten, maar AMD onthulde een nieuwe serverversneller tussen de vele consumenten CPU's en GPU's die het onthulde op de show in Las Vegas.
AMD heeft zijn Instinct MI300 versneller onthuld, en die is geweldig.
De Accelerated Processing Unit (APU) is een combinatie van 13 chiplets, waaronder CPU-kernen, GPU-kernen en geheugen met hoge bandbreedte (HBM). Samen heeft AMD's Instinct MI300 versneller 146 miljard transistors. Ter vergelijking, Intel's ambitieuze Ponte Vecchio processor zal ongeveer 100 miljard transistors hebben, terwijl Nvidia's Hopper H100 GPU slechts 80 miljard transistors heeft.
nstinct MI300 heeft 24 Zen 4 CPU-kernen en zes CDNA-chips. CDNA is de datacenterversie van AMD's RDNA grafische technologie voor consumenten. AMD heeft niet gezegd hoeveel GPU-kernen elke chip heeft. De Instinct MI300 wordt gecompleteerd door 128MB HBM3-geheugen, gestapeld in een 3D-ontwerp.
Het 3D-ontwerp zorgt voor een enorme gegevensdoorvoer tussen CPU, GPU en geheugenchips. Gegevens hoeven niet te worden overgedragen van de CPU of GPU naar DRAM, maar gaan naar de HBM-stack, waardoor de latentie enorm wordt verminderd. Ook kunnen de CPU en GPU dezelfde gegevens gelijktijdig in het geheugen verwerken, waardoor de verwerking sneller verloopt.
AMD CEO Lisa Su kondigde de chip aan het einde van haar 90 minuten durende CES keynote aan. Ze noemde de MI300 “de eerste chip die CPU, GPU en geheugen in één geïntegreerd ontwerp samenbrengt. Dit stelt ons in staat om nieuwe oplossingen te bieden voor geheugen en geheugen.” IO deelt systeembronnen, waardoor de prestaties en efficiëntie aanzienlijk verbeteren en [gemakkelijker] te programmeren worden.”
Su zei dat de AI-prestaties van de MI300 acht keer zo hoog zijn als die van de Instinct MI250 en dat de prestaties per watt vijf keer zo hoog zijn als die van de Instinct MI250. Ze noemde de veelgehypte AI-chatbot ChatGPT en merkte op dat het maanden duurt om een model te trainen; Su zei dat de MI300 de trainingstijd kan terugbrengen van maanden tot weken, waardoor miljoenen dollars aan elektriciteitsrekeningen worden bespaard.
De MI250 van AMD is een indrukwekkend stuk silicium dat wordt gebruikt in Frontier, de eerste exascale supercomputer van Oak Ridge National Laboratory.
AMD's MI300-chip is vergelijkbaar met Intel's Falcon Shores, die in 2024 wordt gelanceerd, en Nvidia's Grace Hopper Superchip, die later dit jaar wordt gelanceerd. Su zei dat de chip momenteel in laboratoria wordt getest door geselecteerde klanten en naar verwachting in de tweede helft van dit jaar zal worden gelanceerd.
AMD lanceert nieuwe AI-accelerator
Instinct was niet de enige bedrijfsaankondiging op CES. Su introduceerde ook de Alveo V70 AI-inferentieversneller. Alveo maakt deel uit van de Xilinx FPGA-familie die AMD vorig jaar heeft overgenomen en is gebouwd op AMD's XDNA AI-engine technologie. Volgens AMD kan Alveo 400 miljoen AI-bewerkingen per seconde uitvoeren op verschillende AI-modellen, waaronder videoanalyse en engine voor klantaanbevelingen.
Su zei dat in termen van videoanalyse, de Alveo V70 70% meer straatdekking biedt voor slimme stadstoepassingen, 72% meer ziekenhuisbedekking voor patiëntbewaking en 72% meer dekking voor kassa's in slimme winkels in vergelijking met concurrenten. De dekking is toegenomen met 80%, maar ze zei niet wat de concurrentie was.
Dit alles binnen 75 watt vermogen en in een compacte vormfactor. AMD neemt vandaag pre-orders aan voor de V70-kaarten en ze zullen dit voorjaar verkrijgbaar zijn.
