thumb|4 GPUs Nvidia H100

Hopper é uma unidade de processamento gráfico (GPU) microarquitetura desenvolvida pela Nvidia. Ela é projetada para datacenters e é usada em paralelo com a microarquitetura Lovelace.

Batizada em homenagem à cientista da computação e contra-almirante da Marinha dos Estados Unidos Grace Hopper, a arquitetura Hopper vazou em novembro de 2019 e foi revelada oficialmente em março de 2022. Ela melhora em relação às microarquiteturas predecessoras, Turing e Ampere, trazendo um novo multiprocessador de streaming, um subsistema de memória mais rápido e um mecanismo de aceleração para transformers.

Arquitetura

A GPU Nvidia Hopper H100 é implementada no processo TSMC N4, com 80 bilhões de transistores. Ela possui até 144 multiprocessadores de streaming (SMs). Devido ao aumento de largura de banda de memória fornecido pelo soquete SXM5, a Nvidia Hopper H100 oferece melhor desempenho quando usada em configuração SXM5 do que no soquete PCIe típico.

Multiprocessador de streaming Os multiprocessadores de streaming da Hopper melhoram em relação às microarquiteturas Turing e Ampere, embora o número máximo de warps concorrentes por SM permaneça o mesmo entre Ampere e Hopper: 64. A arquitetura Hopper fornece um Tensor Memory Accelerator (TMA), que suporta transferência assíncrona bidirecional de memória entre memória compartilhada e memória global. Sob TMA, aplicações podem transferir tensores de até 5 dimensões (5D). Ao escrever de memória compartilhada para memória global, pode-se usar redução elemento a elemento e operadores bit a bit, evitando registradores e instruções do SM, ao mesmo tempo em que permite escrever códigos especializados por warp. O TMA é exposto via cuda::memcpy_async.

Ao paralelizar aplicações, desenvolvedores podem usar clusters de blocos de threads. Blocos de threads podem realizar operações atômicas na memória compartilhada de outros blocos dentro do mesmo cluster, também conhecida como memória compartilhada distribuída. A memória compartilhada distribuída pode ser usada por um SM simultaneamente com o cache L2; quando usada para comunicar dados entre SMs, isso pode aproveitar a largura de banda combinada da memória compartilhada distribuída e do L2. O tamanho máximo de cluster portável é 8, embora a Nvidia Hopper H100 possa suportar um tamanho de cluster de 16 usando a função cudaFuncAttributeNonPortableClusterSizeAllowed, potencialmente ao custo de reduzir o número de blocos ativos. Com multicasting de L2 e memória compartilhada distribuída, a largura de banda necessária para leituras e escritas na memória dinâmica de acesso aleatório é reduzida.

A Hopper apresenta melhoria no throughput de precisão simples (FP32), com o dobro de operações FP32 por ciclo por SM em comparação com a predecessora. Além disso, a arquitetura Hopper adiciona suporte a novas instruções, incluindo o algoritmo Smith–Waterman. Assim como a Ampere, há suporte para aritmética TensorFloat-32 (TF32). O padrão de mapeamento para ambas as arquiteturas é idêntico.

Memória A Nvidia Hopper H100 suporta HBM3 e HBM2e até 80 GB; o sistema de memória HBM3 suporta 3 TB/s, um aumento de 50% sobre os 2 TB/s da Nvidia Ampere A100. Em toda a arquitetura, a capacidade e a largura de banda do cache L2 foram aumentadas.

A Hopper permite que kernels de computação CUDA utilizem compressão automática inline, inclusive em alocações individuais de memória, permitindo acesso em maior largura de banda. Esse recurso não aumenta a quantidade de memória disponível para a aplicação, pois os dados (e, portanto, sua compressibilidade) podem mudar a qualquer momento. O compressor escolhe automaticamente entre vários algoritmos de compressão.

A Nvidia Hopper H100 aumenta a capacidade combinada do cache L1, do cache de textura e da memória compartilhada para 256 KB. Assim como as predecessoras, ela combina os caches L1 e de textura em um cache unificado projetado para servir como buffer de coalescência. O atributo cudaFuncAttributePreferredSharedMemoryCarveout pode ser usado para definir a partilha (carveout) do cache L1. A Hopper introduz melhorias no NVLink por meio de uma nova geração com maior largura de banda total de comunicação.

Domínios de sincronização de memória Algumas aplicações CUDA podem sofrer interferência ao executar operações de fence ou flush devido à ordenação de memória. Como a GPU não consegue saber quais escritas são garantidas e quais ficam visíveis por acaso (timing), ela pode esperar por operações de memória desnecessárias, desacelerando fence ou flush. Por exemplo, quando um kernel faz computações em memória da GPU e um kernel paralelo faz comunicações com um par, o kernel local fará flush de suas escritas, resultando em escritas mais lentas via NVLink ou PCIe. Na arquitetura Hopper, a GPU pode reduzir o custo líquido por meio de uma operação de fence.

Instruções DPX A API matemática da arquitetura Hopper expõe funções no SM como __viaddmin_s16x2_relu, que realiza, por meia-palavra, . No algoritmo Smith–Waterman, pode-se usar __vimax3_s16x2_relu, um mínimo ou máximo de três vias seguido de saturação para zero. De modo semelhante, a Hopper acelera implementações do algoritmo Needleman–Wunsch.

Transformer engine A arquitetura Hopper foi a primeira arquitetura da Nvidia a implementar o transformer engine. O transformer engine acelera computações reduzindo dinamicamente a precisão numérica de valores mais altos (por exemplo, FP16) para precisões mais baixas que são mais rápidas (por exemplo, FP8) quando a perda de precisão é considerada aceitável. O transformer engine também consegue alocar dinamicamente bits na precisão escolhida entre mantissa e expoente em tempo de execução para maximizar a precisão.

Eficiência energética O fator de forma SXM5 do H100 tem potência de projeto térmico (TDP) de 700 watts. Em relação à assincronia, a arquitetura Hopper pode atingir altos graus de utilização e, portanto, pode ter melhor desempenho por watt.

Grace Hopper

O GH200 combina uma GPU H100 baseada em Hopper com uma CPU Grace de 72 núcleos em um único módulo. O consumo total do módulo é de até 1000 W. CPU e GPU são conectadas por NVLink, que fornece coerência de memória entre a memória da CPU e da GPU.

História Em novembro de 2019, uma conta conhecida do Twitter publicou um tweet revelando que a próxima arquitetura após Ampere se chamaria Hopper, em homenagem a Grace Hopper, uma das primeiras programadoras do Harvard Mark I. A conta afirmou que a Hopper seria baseada em um design de módulo multi-chip (MCM), o que resultaria em ganhos de yield com menor desperdício.

Durante a Nvidia GTC de março de 2022, a Nvidia anunciou a Hopper.

No fim de 2022, devido a regulamentações dos EUA que limitavam a exportação de chips para a República Popular da China, a Nvidia adaptou o chip H100 para o mercado chinês com o H800. Esse modelo tem menor largura de banda comparado ao H100 original. No fim de 2023, o governo dos EUA anunciou novas restrições à exportação de chips de IA para a China, incluindo os modelos A800 e H800. Isso levou a Nvidia a criar outro chip baseado na microarquitetura Hopper: o H20, uma versão modificada do H100. O H20 havia se tornado o chip mais proeminente no mercado chinês até 2025.

Em 2023, durante o boom de IA, H100s estavam em grande demanda. Larry Ellison, da Oracle Corporation, disse naquele ano que, em um jantar com o CEO da Nvidia Jensen Huang, ele e Elon Musk, da Tesla, Inc. e da xAI, estavam “implorando” por H100s, “acho que é a melhor forma de descrever. Uma hora de sushi e implorar”.

Em janeiro de 2024, analistas da Raymond James Financial estimaram que a Nvidia vendia a GPU H100 na faixa de US$ 25.000 a US$ 30.000 cada, enquanto, no eBay, H100s individuais custavam mais de US$ 40.000. Em fevereiro de 2024, a Nvidia teria passado a enviar GPUs H100 para data centers em carros blindados.

Acelerador H100 e DGX H100 + GPUs de computação Nvidia — especificações técnicas Modelo Arquitetura Soquete FP32CUDA cores FP64 cores Boost clock Clock memória Barramento Largura banda VRAM FP32 FP64 INT8 tensor FP16 tensor TF32 tensor NVLink GPU L1 Cache L2 Cache TDP Die Transistores Processo Lançamento P100 Pascal SXM/SXM2 3584 1792 1480 MHz 1.4 Gbit/s 4096-bit 720 GB/s 16 GB HBM2 10.6 TFLOPS 5.3 TFLOPS — — — 160 GB/s GP100 1344 KB 4096 KB 300 W 610 mm² 15.3 B TSMC 16FF+ Q2 2016 V100 16GB Volta SXM2 5120 2560 1530 MHz 1.75 Gbit/s 4096-bit 900 GB/s 16 GB HBM2 15.7 TFLOPS 7.8 TFLOPS 62 TOPS 125 TFLOPS — 300 GB/s GV100 10240 KB 6144 KB 300 W 815 mm² 21.1 B TSMC 12FFN Q3 2017 V100 32GB Volta SXM3 5120 2560 1530 MHz 1.75 Gbit/s 4096-bit 900 GB/s 32 GB HBM2 15.7 TFLOPS 7.8 TFLOPS 62 TOPS 125 TFLOPS — 300 GB/s GV100 10240 KB 6144 KB 350 W 815 mm² 21.1 B TSMC 12FFN — A100 40GB Ampere SXM4 6912 3456 1410 MHz 2.4 Gbit/s 5120-bit 1.52 TB/s 40 GB HBM2 19.5 TFLOPS 9.7 TFLOPS 624 TOPS 312 TFLOPS 156 TFLOPS 600 GB/s GA100 20736 KB 40960 KB 400 W 826 mm² 54.2 B TSMC N7 Q1 2020 A100 80GB Ampere SXM4 6912 3456 1410 MHz 3.2 Gbit/s 5120-bit 1.52 TB/s 80 GB HBM2e 19.5 TFLOPS 9.7 TFLOPS 624 TOPS 312 TFLOPS 156 TFLOPS 600 GB/s GA100 20736 KB 40960 KB 400 W 826 mm² 54.2 B TSMC N7 — H100 Hopper SXM5 16896 4608 1980 MHz 5.2 Gbit/s 5120-bit 3.35 TB/s 80 GB HBM3 67 TFLOPS 34 TFLOPS 1.98 POPS 990 TFLOPS 495 TFLOPS 900 GB/s GH100 25344 KB 51200 KB 700 W 814 mm² 80 B TSMC 4N Q3 2022 H200 Hopper SXM5 16896 4608 1980 MHz 6.3 Gbit/s 6144-bit 4.8 TB/s 141 GB HBM3e 67 TFLOPS 34 TFLOPS 1.98 POPS 990 TFLOPS 495 TFLOPS 900 GB/s GH100 25344 KB 51200 KB 1000 W 814 mm² 80 B TSMC 4N Q3 2023 B100 Blackwell SXM6 — — — 8 Gbit/s 8192-bit 8 TB/s 192 GB HBM3e — — 3.5 POPS 7 PFLOPS 1.98 PFLOPS 1.8 TB/s GB100 — — 700 W — 208 B TSMC 4NP Q4 2024 B200 Blackwell SXM6 — — — 8 Gbit/s 8192-bit 8 TB/s 192 GB HBM3e — — 4.5 POPS 9 PFLOPS 2.25 PFLOPS 1.8 TB/s GB100 — — 1000 W — 208 B TSMC 4NP —

Controles de exportação e questões de comércio internacional

No início de 2026, o acelerador de IA H200, baseado em Hopper, tornou-se um ponto central em disputas comerciais internacionais envolvendo a política de exportação dos Estados Unidos e controles de importação chineses. Embora o governo dos EUA tenha aprovado a exportação limitada de chips H200 para a China sob condições específicas de segurança, reportagens indicaram que autoridades alfandegárias chinesas impediram que remessas dos processadores entrassem no país apesar da liberação norte-americana, levando fornecedores a pausar a produção de componentes do H200 em meio à incerteza sobre o bloqueio de importação. As autoridades chinesas teriam instruído empresas domésticas a não comprar os chips salvo necessidade, embora nenhuma proibição formal tenha sido anunciada publicamente e o status de longo prazo das restrições permanecesse incerto. A situação destacou as sensibilidades geopolíticas em torno de exportações de hardware avançado de IA e a interação complexa entre regulações de exportação dos EUA e políticas de importação chinesas.

Bibliografia

Leitura adicional

Categoria:Nvidia