A resposta quase nunca é o modelo mais caro. Cinco perguntas que definem o dimensionamento antes de qualquer orçamento.
A conversa sobre GPU costuma começar errada. Alguém pergunta qual é a melhor placa do momento, recebe um nome, pede orçamento e descobre que o projeto inteiro cabe em duas delas ou que precisaria de trinta.
O caminho inverso funciona melhor. Estas são as perguntas que fazemos antes de sugerir qualquer configuração.
Esta é a pergunta que elimina metade das opções.
Se o modelo, os dados intermediários e o lote de trabalho não couberem na memória da GPU, o trabalho precisa ser dividido. Isso custa tempo, custa complexidade de código e, em muitos casos, custa qualidade de resultado.
Em imagem científica o problema é mais agudo do que parece. Uma cena hiperespectral carrega dezenas ou centenas de bandas por pixel, e o modelo precisa manter blocos grandes disponíveis para enxergar contexto. Quando não cabe, o bloco é fatiado e o modelo perde informação nas bordas.
Em boa parte das cargas científicas, memória e largura de banda pesam mais que capacidade bruta de cálculo.
São perfis diferentes e pedem máquinas diferentes.
Treinamento consome memória, exige comunicação intensa entre GPUs e roda por dias ou semanas. Pede placas com muita memória, interconexão rápida entre elas e refrigeração dimensionada para carga contínua.
Inferência pede latência previsível e disponibilidade. Muitas vezes roda bem em placas menores e mais numerosas, porque o que importa é atender várias requisições ao mesmo tempo, não completar um cálculo gigante.
Ambiente que faz as duas coisas geralmente separa: nós de treino e nós de inferência, com filas distintas.
Nem toda aplicação científica aproveita mais de uma placa. Algumas nem aproveitam a placa inteira.
Antes de dimensionar para oito GPUs, vale medir: o código atual usa quanto da placa que já existe? Ele foi escrito para paralelismo? Depende de biblioteca que suporta múltiplas GPUs?
Comprar oito placas para rodar um código que usa uma é o desperdício mais caro que existe em infraestrutura de pesquisa.
Cluster de campus tem perfil diferente de máquina de grupo. Se vinte pesquisadores compartilham o ambiente, a arquitetura precisa de escalonador de filas, cotas por grupo e, muitas vezes, mais placas menores em vez de poucas placas enormes.
Aqui a pergunta não é de desempenho, é de política de uso. E ela precisa ser decidida antes da compra, porque muda o que se compra.
A pergunta menos glamourosa e a que mais para projeto.
Uma GPU de data center passou de cerca de 400 W na geração A100 para 700 W no H100 e 1.000 W no B200. O rack acompanhou. Um ambiente que antes operava confortavelmente na faixa de 10 a 15 kW por rack, limite prático da refrigeração a ar, hoje pode precisar de refrigeração líquida.
Antes de escolher a placa, vale saber quanto a sala entrega de energia, quanto ela consegue remover de calor e se a instalação elétrica comporta o acréscimo.
Quais aplicações a sua equipe roda hoje, quanto tempo elas levam, e o que mudaria no seu trabalho se elas levassem um décimo disso? A resposta define o dimensionamento melhor que qualquer especificação de catálogo.
Porque orçamento de pesquisa é finito e o objetivo não é ter a placa mais rápida: é ter a maior capacidade útil de cálculo pelo recurso disponível.
Às vezes isso significa a placa topo de linha. Muitas vezes significa mais placas de geração anterior, ou a mesma placa com mais memória, ou investir em armazenamento e rede em vez de em mais GPU, porque o gargalo estava lá.
A PerfilGlobal projeta, importa e implanta infraestrutura de supercomputação para pesquisa científica no Brasil.