Benchmark

How2Sign (subset de 9.872 exemplos)

Métrica: BLEU (validação/teste), BLEURT, latência

Execução

Jul 10 2026

# Modelo Score Δ
01 SHuBERT-ByT5 (fine-tuned, SHuBERT congelado, QLoRA) Latência média pós-finalização: 1,354 s; P95: 2,130 s BLEU 16.7 (validação) / BLEU 15.9 (teste) / BLEURT 44.7 (teste)

Um novo trabalho publicado em 10 de julho de 2026 propõe um sistema de tradução automática de língua de sinais (SLT) com foco em desempenho de sentença completa e operação em tempo real [fonte]. O estudo evita propor uma arquitetura de tradução inédita, concentrando esforços em viabilizar o uso prático e responsivo da tecnologia.

Foco em tradução de sentenças, não só sinais isolados

A maioria dos sistemas de SLT existentes opera no nível de sinais isolados, o que limita sua utilidade em contextos reais de comunicação. O trabalho adota uma abordagem sentence-level, refinando um stack SHuBERT-ByT5 sobre um subconjunto uniformemente amostrado de 9.872 exemplos do How2Sign. Para contornar restrições de processamento e armazenamento, o modelo é ajustado com QLoRA, mantendo o encoder SHuBERT congelado.

Resultados de benchmark: BLEU e BLEURT

O modelo alcançou BLEU de 16,7 na validação e 15,9 no teste. Em BLEURT — métrica que correlaciona melhor com compreensão humana — o resultado foi 44,7 no teste. Embora os scores absolutos ainda estejam distantes da tradução perfeita, representam avanço relevante para o cenário sentence-level, considerando o tamanho do conjunto e hardware restrito.

Arquitetura e latência: streaming eficiente em hardware modesto

A principal inovação está na arquitetura de streaming. O sistema usa um Raspberry Pi 4B como cliente de referência, responsável apenas por captura de vídeo, exibição local de texto e saída de voz. Percepção visual e tradução rodam em backend CPU/GPU, podendo servir diferentes clientes (browser, celular, laptop) sem dependência do dispositivo. O pipeline inclui ingestão em chunks, filas paralelas, reordenação temporal e máquina de estados para sentenças, o que reduz a latência média pós-finalização de 1,873 para 1,354 segundos (queda de 27,71%). O P95 de latência caiu de 2,919 para 2,130 segundos (27,03%).

Implicações e próximos passos

A pesquisa mostra que SLT de sentenças em tempo real, com latência aceitável, pode rodar em hardware acessível usando um backend compartilhado. O modelo usado não é o estado-da-arte absoluto em tradução, mas o foco na experiência e engenharia de streaming aproxima o SLT de aplicações reais — especialmente para contextos educacionais, acessibilidade e suporte a comunicação remota. Os benchmarks estabelecem um baseline robusto para futuras melhorias em modelos e infraestrutura.

Tags
  • #sign language
  • #benchmark
  • #shubert-byt5
  • #slt
  • #tradução automática