Jul 10 2026
| # | Modelo | Score | Δ | |
|---|---|---|---|---|
| 01 | SHuBERT-ByT5 (fine-tuned, SHuBERT congelado, QLoRA) Latência média pós-finalização: 1,354 s; P95: 2,130 s | BLEU 16.7 (validação) / BLEU 15.9 (teste) / BLEURT 44.7 (teste) | — |
Um novo trabalho publicado em 10 de julho de 2026 propõe um sistema de tradução automática de língua de sinais (SLT) com foco em desempenho de sentença completa e operação em tempo real [fonte]. O estudo evita propor uma arquitetura de tradução inédita, concentrando esforços em viabilizar o uso prático e responsivo da tecnologia.
Foco em tradução de sentenças, não só sinais isolados
A maioria dos sistemas de SLT existentes opera no nível de sinais isolados, o que limita sua utilidade em contextos reais de comunicação. O trabalho adota uma abordagem sentence-level, refinando um stack SHuBERT-ByT5 sobre um subconjunto uniformemente amostrado de 9.872 exemplos do How2Sign. Para contornar restrições de processamento e armazenamento, o modelo é ajustado com QLoRA, mantendo o encoder SHuBERT congelado.
Resultados de benchmark: BLEU e BLEURT
O modelo alcançou BLEU de 16,7 na validação e 15,9 no teste. Em BLEURT — métrica que correlaciona melhor com compreensão humana — o resultado foi 44,7 no teste. Embora os scores absolutos ainda estejam distantes da tradução perfeita, representam avanço relevante para o cenário sentence-level, considerando o tamanho do conjunto e hardware restrito.
Arquitetura e latência: streaming eficiente em hardware modesto
A principal inovação está na arquitetura de streaming. O sistema usa um Raspberry Pi 4B como cliente de referência, responsável apenas por captura de vídeo, exibição local de texto e saída de voz. Percepção visual e tradução rodam em backend CPU/GPU, podendo servir diferentes clientes (browser, celular, laptop) sem dependência do dispositivo. O pipeline inclui ingestão em chunks, filas paralelas, reordenação temporal e máquina de estados para sentenças, o que reduz a latência média pós-finalização de 1,873 para 1,354 segundos (queda de 27,71%). O P95 de latência caiu de 2,919 para 2,130 segundos (27,03%).
Implicações e próximos passos
A pesquisa mostra que SLT de sentenças em tempo real, com latência aceitável, pode rodar em hardware acessível usando um backend compartilhado. O modelo usado não é o estado-da-arte absoluto em tradução, mas o foco na experiência e engenharia de streaming aproxima o SLT de aplicações reais — especialmente para contextos educacionais, acessibilidade e suporte a comunicação remota. Os benchmarks estabelecem um baseline robusto para futuras melhorias em modelos e infraestrutura.