O advento da IA mudou bastante o nosso estilo de vida. Podemos fazer tudo com facilidade e dispor de formas cada vez mais eficientes. Para que as redes possam tirar pleno partido do potencial da IA, têm de combinar uma conectividade de alto desempenho com a ausência de perda de pacotes.
Martin Hull, vice-presidente de gestão de produtos para Cloud Titans e Plataformas na Arista Networks, afirmou que a preocupação reside no facto de as interligações de rede tradicionais atuais não conseguirem fornecer a escala e a largura de banda necessárias para satisfazer os pedidos de IA. Historicamente, as únicas opções para ligar núcleos de processador e memória têm sido interconexões proprietárias, como o InfiniBand, o PCI Express e outros protocolos para ligar clusters de computação e descarregar a carga de trabalho, mas, na maioria dos casos, estas não são adequadas para a inteligência artificial e os seus requisitos de carga de trabalho.
Coluna de Inteligência Artificial da Arista
Para dar resposta a estas questões, a Arista está a desenvolver uma tecnologia denominada AI Spine, que requer switches de centro de dados com buffers de pacotes de grande capacidade e software de rede que permita a monitorização em tempo real, de forma a ajudar a gerir os buffers e a controlar o tráfego de forma eficiente.
“O que começamos a ver é um onda de inteligência artificial, ”aplicações de linguagem natural baseadas em aprendizagem automática que envolvem enormes quantidades de dados distribuídos por centenas ou milhares de processadores (CPUs, GPUs), todos eles sobrecarregados com a tarefa de processar os dados, dividi-los em partes, cada um processar a sua própria parte e, em seguida, enviá-la de volta», afirmou Hull.
“Se a sua rede optar por reduzir o tráfego, isso significa que a carga de trabalho de inteligência artificial demora a iniciar, porque é necessário retransmiti-la. Se, durante o processamento dessas cargas de trabalho de inteligência artificial, o tráfego voltar a oscilar, isso abranda a inteligência artificial. A velocidade a que funcionam pode ser afetada e podem mesmo falhar.”
Arquitetura de inteligência artificial
Da Arista inteligência artificial A espinha dorsal baseia-se na sua série 7800R3 de comutadores para centros de dados, que suportam 460 Tbps de capacidade de comutação e centenas de interfaces de 40 Gbps, 50 Gbps, 100 Gbps ou 400 Gbps, bem como buffers com 384 GB de profundidade na gama topo de gama.
“O buffer de profundidade é fundamental para manter o fluxo contínuo e não perder nada”, afirmou Hull. “Algumas pessoas estão preocupadas com a latência em buffers de grande dimensão, mas a nossa análise não indica que isso esteja a acontecer neste caso.”
O sistema de espinha dorsal de inteligência artificial será controlado pelo software de rede central da Arista, o Extensible Operating System (EOS), que suporta redes baseadas em Ethernet de elevada largura de banda, sem perdas e de baixa latência, que podem interligar milhares de GPUs a velocidades de 100 Gbps, 400 Gbps e 100 Gbps. De acordo com o documento técnico do sistema «Spine» de inteligência artificial, 800 Gbps e um esquema de alocação de buffer.
Para apoiar este processo, os switches e os pacotes EOS criam uma malha que divide os pacotes e os reformata em unidades de tamanho uniforme, “distribuindo-os” de forma homogénea por toda a malha, segundo a Arista. O objetivo é garantir um acesso equitativo a todos os caminhos disponíveis dentro da malha e a ausência total de perda de pacotes.
“A arquitetura baseada em células não se preocupa com as velocidades de ligação do painel frontal, e a combinação de 100G, 200G e 400G não suscita grandes preocupações”, escreveu a Arista. “Além disso, a estrutura celular torna-a imune ao problema da ‘colisão de fluxos’ das malhas Ethernet. É utilizado um mecanismo de agendamento distribuído no interior do comutador para garantir a equidade no tráfego que compete pelo acesso a portas de saída congestionadas.”
Uma vez que cada fluxo utiliza qualquer caminho disponível para chegar ao seu destino, a estrutura é particularmente adequada para lidar com os “fluxos gigantes” de elevado tráfego, comuns nas aplicações de IA/ML, pelo que “não existem pontos de congestão internos na rede”, afirma a Arista.
Modelo da coluna vertebral com inteligência artificial
Para explicar como funciona a inteligência artificial, o documento técnico da Arista apresenta dois exemplos.
Em primeiro lugar, a arquitetura dedicada ’leaf and spine» do Arista 7800 permite a ligação a centenas de racks de servidores, e as capacidades inteligentes de equilíbrio de carga do EOS irão controlar o tráfego entre os servidores para evitar conflitos.
Os limiares de classificação de QoS, Notificação Explícita de Congestionamento (ECN) e Controlo de Fluxo Prioritário (PFC) são configurados em todos os switches para evitar a perda de pacotes. O Latency Analyzer (LANZ) do Arista EOS determina os limiares adequados para evitar a perda de pacotes, mantendo simultaneamente um elevado débito, e permite o dimensionamento da rede, mantendo a latência previsível e baixa.
O segundo caso de utilização pode ser escalado para centenas de terminais, ligando todos os modos de GPU diretamente ao switch 7800R3 na espinha dorsal de inteligência artificial. O resultado é uma estrutura que proporciona um único salto entre todos os terminais, reduzindo a latência e permitindo uma rede única, de grande dimensão e sem perdas, que não requer qualquer configuração ou ajuste, refere a Arista.
Desafios da Inteligência Artificial em Rede
A procura pela arquitetura Spine de inteligência artificial é impulsionada principalmente por tecnologias e aplicações como a virtualização de servidores, a contentorização de aplicações, a computação multicloud, a Web 2.0, o big data e a HPC. “Para otimizar e melhorar o desempenho destas novas tecnologias, ficou comprovado que as estruturas IP distribuídas, com escalabilidade horizontal e buffer profundo, proporcionam um desempenho consistente, capaz de escalar para suportar padrões de tráfego ‘leste-oeste’ extremos”, escreveu a Arista.
Embora possa ser prematuro para a maioria das empresas preocupar-se com a gestão de cargas de trabalho em clusters de inteligência artificial em grande escala, alguns ambientes de maior dimensão, bem como redes de hiperescala, financeiras, de realidade virtual, de jogos e de desenvolvimento automóvel, já se estão a preparar para as perturbações de tráfego que estas podem causar na rede tradicional.
A CEO da Arista, Jayshree Ullal, afirmou recentemente à Goldman Sachs que, à medida que as cargas de trabalho de IA crescem, estas exercem uma pressão cada vez maior sobre a escala e a largura de banda das redes, bem como sobre o armazenamento adequado e a profundidade do buffer, com latência previsível. Além disso, o processamento de fluxos massivos de pequenos pacotes exerce uma pressão crescente. Convergência tecnológica. “Será necessária muita engenharia para que a Ethernet tradicional funcione como rede de back-end para suportar esta tecnologia no futuro, e a utilização crescente de 400G irá dar um impulso adicional a este desenvolvimento”, afirmou Ullal.
