A recente especificação HBM4 anunciada pela JEDEC é uma ótima notícia para desenvolvedores de hardware de treinamento de IA. A HBM4 é a especificação mais recente do padrão DRAM de Memória de Alta Largura de Banda (HBM) em rápida evolução, oferecendo desempenho de memória de 2 TB/s e maior densidade de até 64 GB (32 GB de 16 bits), de acordo com a JEDEC. "Os avanços introduzidos pela HBM4 são vitais para aplicações que exigem o manuseio eficiente de grandes conjuntos de dados e cálculos complexos, incluindo inteligência artificial generativa (IA), computação de alto desempenho, placas gráficas de ponta e servidores", afirmou o comunicado da JEDEC.
Os conjuntos de dados de modelos de linguagem de grande porte (LLM) estão crescendo exponencialmente, e o desempenho atual da CPU e da GPU costuma ser limitado pela largura de banda de memória disponível. Devido a essa "parede de memória", a HBM se tornou a memória preferida para treinamento de IA generativa devido à sua largura de banda, capacidade e eficiência de memória superiores.
O HBM4 baseia-se nos padrões HBM3 (e HBM2E), amplamente utilizados em hardware de treinamento de IA em data centers. O HBM4 oferece uma melhoria de 2X na largura de banda de memória em relação ao HBM3. A melhoria na largura de banda é alcançada aumentando a frequência para 8 Gb/s (6,4 Gb/s no HBM3) e dobrando o número de bits de dados para 2.048 bits (de 1.024 bits no HBM3). A largura de banda total agora é aumentada para 2 TB/s, necessária para hardware de treinamento de IA.
Além da largura de banda, o padrão HBM4 aborda questões-chave em data centers, incluindo o tamanho crescente dos conjuntos de dados LLM, confiabilidade e eficiência de memória. Para suportar esses conjuntos de dados crescentes, o HBM4 fornece capacidade adicional, suportando configurações de pilha DRAM de até 16 de altura com densidades de matriz por pilha de 24 GB ou 32 GB. A combinação máxima de densidade de matriz (32 GB) e pilhas (16 de altura) proporcionou uma densidade total de cubo de 16 x 32 GB ou 64 GB. Para abordar confiabilidade, disponibilidade e capacidade de manutenção (RAS), o HBM4 incorpora o gerenciamento direto de atualização (DRFM) para melhorar a mitigação de row-hammer. E, finalmente, para melhor eficiência de memória, o HBM4 aumentou o número de canais suportados para 32, com dois pseudocanais por canal, proporcionando mais flexibilidade para diferentes tipos de dados.
Em conjunto com o anúncio da JEDEC, a Cadence está lançando seu primeiro produto de memória PHY HBM4 e controlador IP com a melhor taxa de dados da categoria, de 12,8 Gbps. Com 12,8 Gbps, este novo produto excede a velocidade máxima de dispositivos DRAM, oferecendo aos projetistas ampla margem de manobra para o sistema e preparando seus projetos para o futuro, visando potenciais aumentos de velocidade.
A vantagem de largura de banda do HBM4 também traz o desafio de rotear 2.048 bits de dados (mais bits de controle) para o processador. Assim como no HBM3, o roteamento desses sinais requer algum tipo de tecnologia de interposição. Interposições de silício são as mais comuns e exigirão camadas adicionais de sinal e aterramento para acomodar o aumento do número de bits. Para aproveitar ao máximo essas altas taxas de dados e barramentos de dados mais amplos, o projeto do interposição é fundamental para o desempenho do sistema. O posicionamento correto dos sinais e aterramentos é necessário para uma forte integridade do sinal e integridade de potência (SI/PI) para mitigar efeitos como diafonia. Para acelerar o projeto do sistema, a Cadence fornece um interposição e um projeto de referência de pacote. Além disso, os engenheiros de sistema e SI da Cadence trabalham em estreita colaboração com os clientes para orientá-los durante o projeto, garantindo o mais alto desempenho e a melhor margem de sinal.
A Cadence é líder em desempenho de HBM no envio de produtos HBM3 desde 2022, com nosso mais recente produto HBM3 atingindo velocidades de 10,4 Gb/s. A Cadence tem orgulho de manter essa liderança com o mais recente HBM4 PHY e Controlador a 12,8 Gb/s.
Fonte: cadence
Nenhum comentário:
Postar um comentário