ERBASE 2025 • Workshop de Trabalhos de Pesquisa12 de agosto de 2025•6 min

Abordagens de Aprendizado de Máquina para o Reconhecimento de Sinais em Libras

Estudo sobre reconhecimento de sinais estáticos em Libras usando landmarks do MediaPipe e modelos RNN, Random Forest e XGBoost. O XGBoost obteve o melhor desempenho em precisão e F1-score, com proposta de benchmark público e próximos passos para sinais dinâmicos.

Autores: Kauã de Melo Alves, Felipe Jovino dos Santos, Stephanie Kamarry Alves de Sousa

Local de publicação: Lagarto, SE, Brasil

DOI: 10.5753/erbase.2025.13807

Ver na SBC OpenLib Baixar PDF

LibrasAprendizado de MáquinaMediaPipeXGBoostAcessibilidade

Resumo

O artigo investiga reconhecimento de sinais estáticos em Libras com aprendizado de máquina, enfrentando variações regionais, iluminação e posicionamento. Foram avaliados RNN, Random Forest e XGBoost usando landmarks extraídos com MediaPipe em 25.000 imagens, com melhor desempenho do XGBoost em precisão e F1-score.

Materiais e métodos

O dataset possui 20 sinais estáticos (alfabeto), totalizando 25.000 imagens. As mãos foram representadas por landmarks do MediaPipe (21 pontos, coordenadas normalizadas). Houve pré-processamento com normalização e ajuste de contraste, e avaliação via validação cruzada KFold (10 dobras) usando precisão, recall e F1-score.

Resultados

O XGBoost foi o melhor nas métricas reportadas (precisão e F1-score), superando RNN e Random Forest. Abaixo, a síntese numérica conforme o artigo:

Tabela 1 — Desempenho dos Modelos
          Modelo          Precisão   Recall   F1-score
          RNN              85.3%     84.1%     84.7%
          Random Forest    80.5%     78.9%     79.6%
          XGBoost          87.9%     86.5%     87.2%

Curvas e comparações visuais

Curva de aprendizado comparativa entre XGBoost, RNN e Random Forest — Figura 1 — Curva de aprendizado comparativa entre os modelos.

Comparação do desempenho dos modelos (precisão, recall e F1-score) — Figura 2 — Comparação do Desempenho dos Modelos.

Exemplo de reconhecimento de sinal em tempo real com landmarks sobre a mão — Figura 3 — Reconhecimento de sinal em tempo real.

Contribuições e próximos passos

A contribuição destacada é a criação de um benchmark público para sinais estáticos de Libras e a indicação de continuidade com sinais dinâmicos e técnicas mais avançadas (deep learning) para aumentar robustez e aplicabilidade no mundo real.