A OpenAI publicou um detalhamento técnico sobre a evolução do Habitat, sua plataforma de armazenamento online, que hoje sustenta mais de 1 bilhão de usuários semanais do ChatGPT e produtos associados. O post, assinado por membros do time de engenharia, mostra as decisões tomadas para adaptar a infraestrutura a um crescimento sem precedentes.
Habitat: de biblioteca Python a serviço distribuído
O Habitat nasceu como uma biblioteca Python simples, lançada durante o DevDay 2023, para facilitar o acesso de engenheiros de produto a dados sem a necessidade de gerenciar bancos diretamente. Inicialmente, a biblioteca se conectava a um único banco (Azure Cosmos DB), abstraindo operações como lookup de schema, roteamento, autorização e serialização. Isso permitiu que times de produto focassem no desenvolvimento sem se preocupar com detalhes de infraestrutura.
Com o crescimento acelerado da base de usuários e o aumento da complexidade dos produtos OpenAI, a abordagem de biblioteca client-side atingiu rapidamente seu limite. A necessidade de mudanças compatíveis retroativamente e de coordenação entre dezenas de serviços tornou operações como migração de dados ou ajuste de políticas regionais lentas e propensas a erro.
A resposta foi transformar o Habitat em um serviço centralizado, desacoplado dos clientes, permitindo controle único sobre deploys, observabilidade e evolução da plataforma. O serviço, embora escrito em Python — linguagem pouco comum para sistemas de serving em larga escala —, foi otimizado para garantir confiabilidade e performance sob carga massiva.
Escalando para 1 bilhão de usuários
Atualmente, o Habitat processa mais de 70 milhões de requisições por segundo e armazena mais de 500 petabytes de dados, distribuídos em quase 40 regiões geográficas. O sistema integra múltiplos recursos de storage, incluindo Azure Cosmos DB, caches Valkey, serviços de CDC (Change Data Capture), Databricks e Kafka, entre outros.
O crescimento de 10x ao ano, mantido por três anos consecutivos, obrigou a engenharia a adotar decisões táticas para extrair o máximo da stack existente, enquanto investia em fundações para o próximo salto de escala. Um dos desafios citados foi garantir que falhas regionais não afetassem dados críticos, o que exigiu mudanças na arquitetura de roteamento e replicação.
O post destaca que, diferente do padrão “construa para 10x e espere alguns anos”, a OpenAI precisou repensar e reimplementar partes do Habitat continuamente, sob pressão de crescimento real.
O que vem a seguir
O artigo é o primeiro de uma série. Na próxima parte, a equipe promete detalhar como tornou a multi-tenancy confiável em larga escala, estratégias de otimização de leitura e a colaboração com a Azure para suportar picos de demanda.
Por que importa
A experiência da OpenAI com o Habitat ilustra os desafios reais de escalar infraestrutura para produtos de IA generativa em uso massivo. Para empresas brasileiras que buscam construir soluções sobre LLMs ou expandir serviços digitais rapidamente, a abordagem de abstração de storage, centralização de controle e flexibilidade arquitetural serve de referência prática. O relato mostra que, mesmo com linguagens não tradicionais para sistemas de alta performance, escolhas arquiteturais bem fundamentadas podem sustentar crescimento agressivo — desde que haja disciplina de engenharia e capacidade de adaptação constante.