O teste do “pelicano andando de bicicleta” virou uma espécie de meme nos círculos de IA desde que Simon Willison o popularizou como um benchmark informal para modelos generativos. A suspeita de que laboratórios poderiam “pelicanmaxxar” — ou seja, treinar e ajustar seus modelos especificamente para este prompt — motivou um experimento inédito: 1.008 SVGs gerados por sete LLMs de ponta, avaliados por uma pipeline automatizada e análise quantitativa. O resultado: não há evidência de otimização desproporcional para o prompt do pelicano, e o caso ilustra as limitações e os riscos de benchmarks informais no ciclo de desenvolvimento de IA.
O experimento: 48 prompts, 7 modelos, 1.008 imagens
Inspirado no prompt original de Willison, o experimento expandiu a matriz de testes para 8 animais e 6 veículos, totalizando 48 combinações (entre elas, o famoso pelicano na bicicleta). Os modelos testados — GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 e DeepSeek V4 Pro — receberam três amostras por prompt, totalizando mais de mil imagens. Cada SVG foi renderizado, avaliado por um LLM juiz (GPT-5.6 Luna) em três critérios (animal, veículo e coerência da ação) e passou por extração de features com Gemini 3.1 Flash-Lite.
A metodologia, além de automatizada, buscou eliminar viés visual subjetivo: a análise não se baseou apenas em “parece melhor?”, mas em notas médias e reconhecimento de elementos por outro modelo. O código foi publicado abertamente para auditoria.
Resultados: pelicanos e bicicletas não se destacam
Os resultados são claros. O pelicano, como animal, ficou em sexto lugar de oito, atrás de gatos, baleias, guaxinins, garças e antílopes. Bicycles, como veículo, ficaram em penúltimo — só à frente de “plane”, que os modelos frequentemente interpretaram como “plano geométrico” e não aeronave.
Quando combinados, pelicano + bicicleta aparece na 42ª posição entre as 48 possíveis. Ou seja, não há indício de que laboratórios estejam otimizando especificamente para esse prompt. Modelos que vão bem no pelicano tendem a ir bem em outros animais e veículos também, e vice-versa. Mesmo para laboratórios que produzem um pelicano razoável, não há salto qualitativo comparado a outras combinações.
A análise também mostra que a dificuldade intrínseca influencia: pelicanos são mais difíceis de desenhar que gatos, bicicletas mais complexas que skates. O juiz de LLM penalizou fortemente imagens em que partes essenciais da bicicleta estavam ausentes ou desconectadas, o que ocorreu em dois terços das amostras.
O papel e os limites dos benchmarks informais
O caso do pelicano ilustra a relevância — e o risco — de benchmarks informais. O prompt se tornou popular por condensar, numa única tarefa, vários desafios de geração: composição, reconhecimento de múltiplos objetos, relações espaciais e coerência narrativa. Mas sua fama também o torna sujeito ao chamado “overfitting social”: laboratórios podem ser tentados a ajustar modelos para performar bem em prompts populares, mesmo que isso não se traduza em ganhos reais de capacidade.
O experimento atual sugere que, pelo menos até aqui, isso não ocorreu. Não há “pelicanmaxxing” detectável. Ainda assim, o próprio fato de a hipótese existir revela um ambiente onde benchmarks informais têm peso desproporcional no debate público e até na percepção de avanço tecnológico.
Por que isso importa
Para desenvolvedores, pesquisadores e empresas que dependem de LLMs, o episódio reforça duas lições. Primeiro, benchmarks informais são úteis como termômetro, mas não substituem métricas sistemáticas, amplas e transparentes. Segundo, a atenção da comunidade pode — intencionalmente ou não — direcionar esforços de engenharia, criando incentivos para otimização superficial.
A ausência de “pelicanmaxxing” mostra maturidade dos laboratórios, mas não elimina o risco de overfitting em outros contextos. Ao escolher modelos ou definir métricas de avaliação, vale olhar para além dos memes e buscar evidências robustas sobre capacidade geral — não só para prompts virais.