Die Consumer Electronics Show (CES) ist vielleicht der letzte Ort, an dem man ein Unternehmensprodukt erwarten würde, aber AMD hat auf der Messe in Las Vegas neben vielen Consumer-CPUs und -GPUs auch einen neuen Server-Beschleuniger vorgestellt.
AMD hat den Instinct MI300 Beschleuniger vorgestellt, der es in sich hat.
Die Accelerated Processing Unit (APU) ist eine Kombination aus 13 Chiplets, einschließlich CPU-Kernen, GPU-Kernen und High-Bandwidth Memory (HBM). Der Instinct MI300-Beschleuniger von AMD hat zusammen 146 Milliarden Transistoren. Im Vergleich dazu wird Intels ehrgeiziger Ponte Vecchio-Prozessor etwa 100 Milliarden Transistoren haben, während Nvidias Hopper H100-GPU nur 80 Milliarden Transistoren aufweist.
nstinct MI300 has 24 Zen 4 CPU cores and six CDNA chips. CDNA is the data center version of AMD’s RDNA consumer graphics technology. AMD didn’t say how many GPU cores each chiplet has. Rounding out the Instinct MI300 is 128MB of HBM3 memory stacked in a 3D design.
Das 3D-Design ermöglicht einen enormen Datendurchsatz zwischen CPU, GPU und Speicherchips. Die Daten müssen nicht von der CPU oder GPU an den DRAM übertragen werden, sondern gehen in den HBM-Stapel, wodurch die Latenzzeit erheblich reduziert wird. Außerdem können CPU und GPU dieselben Daten im Speicher gleichzeitig verarbeiten, wodurch die Verarbeitung beschleunigt wird.
AMD CEO Lisa Su kündigte den Chip am Ende ihrer 90-minütigen CES-Keynote an und nannte den MI300 "den ersten Chip, der CPU, GPU und Speicher in einem einzigen integrierten Design vereint. Dies ermöglicht uns, neue Lösungen für Speicher und Arbeitsspeicher anzubieten." IO teilt sich die Systemressourcen, was die Leistung und Effizienz deutlich verbessert und die Programmierung erleichtert."
Su sagte, die KI-Leistung des MI300 sei achtmal so hoch wie die des Instinct MI250 und die Leistung pro Watt sei fünfmal so hoch wie die des Instinct MI250. Sie erwähnte den viel gepriesenen KI-Chatbot ChatGPT und merkte an, dass es Monate dauert, ein Modell zu trainieren; Su sagte, dass der MI300 die Trainingszeit von Monaten auf Wochen reduzieren kann, was Millionen von Dollar an Stromkosten spart.
Beachten Sie, dass der MI250 von AMD ein beeindruckendes Stück Silizium ist, das in Frontier, dem ersten Exascale-Supercomputer des Oak Ridge National Laboratory, eingesetzt wird.
Der MI300-Chip von AMD ähnelt Intels Falcon Shores, der 2024 auf den Markt kommt, und Nvidias Grace Hopper Superchip, der noch in diesem Jahr auf den Markt kommt. Su sagte, der Chip befinde sich derzeit in den Labors und werde an ausgewählte Kunden bemustert und voraussichtlich in der zweiten Hälfte dieses Jahres auf den Markt gebracht.
AMD bringt neuen KI-Beschleuniger auf den Markt
Instinct wasn’t the only corporate announcement at CES. Su also introduced the Alveo V70 AI inference accelerator. Alveo is part of the Xilinx FPGA family AMD acquired last year and is built on AMD’s XDNA AI engine technology. According to AMD, it can deliver 400 million AI operations per second on various AI models, including video analytics and customer recommendation engines.
Su sagte, dass der Alveo V70 im Hinblick auf die Videoanalyse eine um 70% höhere Straßenabdeckung für Smart-City-Anwendungen, eine um 72% höhere Abdeckung von Krankenhausbetten für die Patientenüberwachung und eine um 72% höhere Abdeckung von Kassenspuren in intelligenten Einzelhandelsgeschäften im Vergleich zu den Wettbewerbern bietet. Die Abdeckung hat sich um 80% erhöht, aber sie hat nicht gesagt, was die Konkurrenz ist.
All this within 75 watts of power and in a compact form factor. AMD will take pre-orders for the V70 cards today and they will be available this spring.