Reconhecimento de Sinais da Libras por Visão Computacional

  • Giovanna Ono Koroishi Universidade de São Paulo
  • Bruna Vieira Louzada Silva Universidade de São Paulo

Resumo

O reconhecimento automático linguagens de sinais promete facilitar a comunicação entre surdos e o restante da população. As tecnologias atuais esbarram em obstáculos como dificuldade de rastreio das mãos e reconhecimento de poses. Este projeto estuda uma abordagem probabilística para a identificação de sinais da LIBRAS com um sensor RGBD. Essa identificação é baseada na classificação SematosÊmica da linguagem. Durante o projeto, foi implementado um identificador automático de sinais da LIBRAS que captura o vídeo através do sensor Kinect, segmenta o objeto de interesse (a mão direita) e calcula a probabilidade dos sinais. O principal desafio do trabalho foi reconhecer as configurações de mão e para solucioná-lo utilizou-se modelos estruturados em nuvens de pontos e o algoritmo de ICP. O projeto mostrou que essa abordagem torna viável o reconhecimento automático, pois obteve-se 65% de acerto entre 48 testes envolvendo 12 sinais diferentes, mesmo com as limitações de recursos e tempo existentes.

Downloads

Não há dados estatísticos.

Biografia do Autor

Giovanna Ono Koroishi, Universidade de São Paulo
Departamento de Engenharia Mecatrônica e Sistemas Mecânicos, Laboratório de Geometria Computacional

RECONHECIMENTO DE SINAIS DA LIBRAS POR VISÃO COMPUTACIONAL

Publicado
2015-05-11
Como Citar
Ono Koroishi, G., & Vieira Louzada Silva, B. (2015). Reconhecimento de Sinais da Libras por Visão Computacional. Mecatrone, 1(1). https://doi.org/10.11606/issn.2526-8260.mecatrone.2015.116344
Seção
Artigos