A Consumer Electronics Show (CES) pode ser o último local onde se espera a estreia de um produto empresarial, mas a AMD revelou um novo acelerador de servidor entre os muitos CPUs e GPUs para consumidores que apresentou na feira de Las Vegas.
A AMD apresentou o seu acelerador Instinct MI300, que é espetacular.
A Unidade de Processamento Acelerado (APU) é uma combinação de 13 chiplets, incluindo núcleos de CPU, núcleos de GPU e memória de alta largura de banda (HBM). Em conjunto, o acelerador Instinct MI300 da AMD tem 146 mil milhões de transístores. Em comparação, o ambicioso processador Ponte Vecchio da Intel terá cerca de 100 mil milhões de transístores, enquanto a GPU Hopper H100 da Nvidia tem apenas 80 mil milhões de transístores.
nstinct MI300 has 24 Zen 4 CPU cores and six CDNA chips. CDNA is the data center version of AMD’s RDNA consumer graphics technology. AMD didn’t say how many GPU cores each chiplet has. Rounding out the Instinct MI300 is 128MB of HBM3 memory stacked in a 3D design.
O design 3D permite uma enorme taxa de transferência de dados entre CPU, GPU e chips de memória. Os dados não precisam ser transferidos da CPU ou GPU para a DRAM; eles vão para a pilha HBM, reduzindo enormemente a latência. Ele também permite que a CPU e a GPU processem os mesmos dados na memória simultaneamente, acelerando assim o processamento.
A CEO da AMD, Lisa Su, anunciou o chip no final da sua apresentação de 90 minutos na CES, chamando ao MI300 "o primeiro chip a reunir a CPU, a GPU e a memória num único design integrado. Isto permite-nos fornecer novas soluções para memória e memória". O IO partilha os recursos do sistema, melhorando significativamente o desempenho e a eficiência e [tornando-se] mais fácil de programar".
Su afirmou que o desempenho da IA do MI300 é oito vezes superior ao do Instinct MI250 e que o seu desempenho por watt é cinco vezes superior ao do Instinct MI250. Mencionou o muito badalado chatbot de IA ChatGPT, referindo que são necessários meses para treinar um modelo; Su disse que o MI300 pode reduzir o tempo de treino de meses para semanas, poupando milhões de dólares em contas de eletricidade.
Note-se que o MI250 da AMD é uma peça de silício impressionante utilizada no Frontier, o primeiro supercomputador exascale do Oak Ridge National Laboratory.
O chip MI300 da AMD é semelhante ao Falcon Shores da Intel, a lançar em 2024, e ao Grace Hopper Superchip da Nvidia, a lançar no final deste ano. Su afirmou que o chip está atualmente em laboratórios e a ser distribuído a clientes selecionados, prevendo-se que seja lançado no segundo semestre deste ano.
AMD lança novo acelerador de IA
Instinct wasn’t the only corporate announcement at CES. Su also introduced the Alveo V70 AI inference accelerator. Alveo is part of the Xilinx FPGA family AMD acquired last year and is built on AMD’s XDNA AI engine technology. According to AMD, it can deliver 400 million AI operations per second on various AI models, including video analytics and customer recommendation engines.
Su afirmou que, em termos de análise de vídeo, o Alveo V70 oferece mais 70% de cobertura de ruas para aplicações em cidades inteligentes, mais 72% de cobertura de camas de hospital para monitorização de doentes e mais 72% de cobertura de caixas de lojas de retalho inteligentes, em comparação com a concorrência. A cobertura aumentou em 80%, mas ela não disse qual era a concorrência.
All this within 75 watts of power and in a compact form factor. AMD will take pre-orders for the V70 cards today and they will be available this spring.