O AirLLM, projeto open-source disponível no GitHub, apresentou uma abordagem que reduz drasticamente o consumo de memória para inferência de grandes modelos de linguagem — permitindo rodar LLMs de 70 bilhões de parâmetros em uma GPU de apenas 4GB, sem recorrer às técnicas tradicionais de quantização, distilação ou pruning.
O que o AirLLM faz
O diferencial do AirLLM está no uso de sparse MoE (Mixture of Experts esparso), transmitindo apenas os especialistas necessários para cada token, em vez de carregar toda a camada do modelo na GPU. Isso permite que modelos massivos como o Llama 3.1 (405B), DeepSeek-V3 (671B) e até o Kimi K3 (2,8T) sejam executados em placas com VRAM modesta: 3,7GB para o Kimi K3, 4GB para Llama3 70B, e cerca de 12GB para DeepSeek-V3.
A biblioteca se integra ao ecossistema de modelos do Hugging Face, permitindo inicializar qualquer modelo popular com uma única linha de código. O processo inclui decomposição do modelo e salvamento camada a camada, exigindo espaço em disco proporcional ao modelo original. Para acelerar ainda mais a inferência, o AirLLM traz suporte a compressão baseada em quantização por blocos (4bit/8bit), com promessa de até 3x mais velocidade e perda de precisão mínima.
Compatibilidade e requisitos
Desde a versão 3.0, o AirLLM suporta modelos FP8 e amplia compatibilidade com DeepSeek-V3, Qwen3-235B, Llama 3.x/4, Phi-4, Gemma, entre outros. Para rodar modelos de última geração, como o Kimi K3 (2,8T), são necessários pacotes adicionais (compressed-tensors, flash-attn, torch CUDA 12, transformers 4.56.x). O projeto também suporta MacOS e execução via CPU, além de aceitar modelos não particionados.
A instalação é feita via pip (pip install airllm), e exemplos de uso para diferentes modelos estão disponíveis no próprio repositório.
Limitações e contexto
Apesar dos avanços, o AirLLM depende das arquiteturas sparse MoE para viabilizar a execução em hardware limitado — modelos dense convencionais continuam exigindo mais memória. O tempo de inferência pode ser impactado pelo carregamento sob demanda das camadas, e há requisitos específicos para cada modelo flagship suportado. A decomposição e o armazenamento local das camadas também impõem demanda de disco proporcional ao porte do modelo.
No cenário open-source, a proposta do AirLLM se destaca por democratizar o acesso a LLMs gigantes sem a barreira do hardware de ponta, mesmo que com restrições de velocidade e requisitos de configuração. O suporte ativo a modelos de última geração como Llama 3.1 e Kimi K3 reforça a relevância do projeto para experimentação, prototipagem e pesquisa em ambientes de recursos limitados.
Por que importa
A possibilidade de rodar modelos de 70B até 2,8 trilhões de parâmetros em GPUs de 4GB abre novas frentes para desenvolvedores, pesquisadores e empresas com infraestrutura restrita. No Brasil, onde o acesso a hardware de alto custo é limitado, o AirLLM pode viabilizar experimentação local e reduzir custos de inferência em projetos de IA generativa. O projeto ainda não elimina as limitações de velocidade ou de contexto dos modelos base, mas redefine a faixa de hardware necessária para quem quer trabalhar com LLMs no estado da arte.