O benchmark WearableQA foi apresentado no arXiv em 4 de setembro de 2026 como uma nova referência para testar a capacidade de LLMs em raciocinar sobre dados reais de dispositivos vestíveis. Ao contrário de benchmarks sintéticos, o WearableQA utiliza séries temporais reais, biomarcadores sanguíneos e dados demográficos de 200 usuários, cada um com até 500 dias de acompanhamento diário.
Como funciona o WearableQA
A base do WearableQA são 4.084 perguntas de múltipla escolha, cada uma com dez alternativas, construídas a partir dos dados reais dos participantes. O benchmark preserva características autênticas dos dispositivos, incluindo ruído dos sensores e variações individuais, o que aumenta o desafio para modelos de IA. As questões são organizadas em 16 tipos, balanceando dois eixos principais: raciocínio sobre dados versus raciocínio clínico (interpretação fisiológica), e raciocínio sobre um único sinal versus integração de múltiplos sinais.
Para garantir relevância e robustez, as perguntas combinam achados validados na literatura médica com padrões fisiológicos confirmados estatisticamente na própria população analisada. Isso permite capturar relações reais e não apenas situações idealizadas ou simplificadas.
Avaliação de LLMs e resultados
O WearableQA foi utilizado para avaliar 14 LLMs (proprietários e open-source). O desempenho variou de 19,6% a 72,9% de acerto — a chance pura seria 10%. Mesmo os melhores modelos ficaram abaixo de 60% de acurácia na maioria das tarefas, indicando que o benchmark está longe de ser superado. Os resultados mostram que, apesar dos avanços em modelos de linguagem, o raciocínio sobre dados fisiológicos reais, especialmente de longo prazo e envolvendo múltiplos sinais, ainda é um desafio aberto.
Por que importa
WearableQA representa um passo relevante para avaliação de IA em cenários mais próximos da prática clínica e da saúde digital. O uso de dados autênticos e perguntas complexas expõe limitações que benchmarks tradicionais não capturam. Pesquisadores e desenvolvedores que trabalham com aplicações de IA em saúde podem usar o WearableQA para identificar pontos cegos e comparar modelos de forma mais realista. Para o mercado brasileiro, onde o uso de wearables cresce e há interesse em healthtech, benchmarks como esse ajudam a separar hype de capacidade real e a orientar escolhas para projetos que dependem de interpretação de dados fisiológicos em larga escala.