Por favor, use este identificador para citar o enlazar este ítem:
http://dspace.espoch.edu.ec/handle/123456789/21433
Título : | Diseño e implementación de un sistema de traducción de lenguaje de señas dactilológico a lenguaje natural escrito para personas no hablantes mediante visión artificial. |
Autor : | Cusme Quintanilla, Medelin Lisset |
Director(es): | Ribadeneira Ramirez, Jefferson Alexander |
Tribunal (Tesis): | Zúñiga Lema, Lourdes del Carmen |
Palabras claves : | SISTEMA DE TRADUCCIÓN;LENGUAJE DE SEÑAS NATURAL;DACTILOLÓGICO;VISIÓN ARTIFICIAL;MEDIAPIPE;CONDICIONES LUMÍNICAS |
Fecha de publicación : | 15-abr-2024 |
Editorial : | Escuela Superior Politécnica de Chimborazo |
Citación : | Cusme Quintanilla, Medelin Lisset. (2024). Diseño e implementación de un sistema de traducción de lenguaje de señas dactilológico a lenguaje natural escrito para personas no hablantes mediante visión artificial. Escuela Superior Politécnica de Chimborazo. Riobamba. |
Identificador : | UDCTFIYE;98T00432 |
Abstract : | The lack of a translation system is a barrier to communication and learning for non-speakers across various domains. Therefore, it is essential to develop and implement technological solutions. This paper proposes to design and implement a System for Translation from fingerspelling sign language to written natural language for non-speakers using computer vision. Both quantitative and qualitative approaches were employed in the methodology. The study used Mediapipe, a library that facilitates hand detection, tracking, and recognition from data structures to obtain information about 21 hand landmarks. The study population comprised students and teachers from the Specialized Deaf School of Chimborazo, and documentary and field research were conducted to gather information on the correct articulation of the Ecuadorian fingerspelling alphabet. The confusion data confirmed the system’s efficiency, achieving a performance of 100%. The system was evaluated under different lighting conditions, yielding 100% gesture detection in optimal conditions (over 1000 lux). Under moderate lighting conditions (100 to 900 lux), precision remains high at a 94% detection rate. Even under low-light conditions (less than 100 lux), the system maintains good detection capability with an 88% accuracy rate. Its high precision and reliability in gesture detection enable fluent and secure interaction across various contexts, from casual conversations to academic and professional environments. |
Resumen : | En la actualidad, la falta de un sistema de traducción limita la comunicación y el aprendizaje de las personas no hablantes en diferentes ámbitos. Se hace evidente la necesidad de desarrollar e implementar soluciones tecnológicas, por lo tanto, el diseño e implementación de un Sistema de Traducción de lenguaje de señas dactilológico a lenguaje natural escrito para personas no hablantes mediante visión artificial se plantea como una solución. La metodología implementada tuvo un enfoque cualitativo y cuantitativo, se utilizó Mediapipe, que es una biblioteca que facilita la detección, seguimiento y reconocimiento de la mano a partir de fotogramas para obtener información sobre 21 puntos de referencia de la mano (coordenadas X, Y e Z) que corresponden a las falanges y nudillos. La población de estudio fueron los estudiantes y docentes de la Unidad Educativa Especializada sordos de Chimborazo, siendo fundamental la aplicación de una investigación documental y de campo para obtener información de la correcta articulación del alfabeto dactilográfico ecuatoriano. Los resultados obtenidos de la matriz de confusión confirman la eficiencia en cuanto a rendimiento del sistema de traducción dando un desempeño general del 100%. El Sistema fue evaluado en diferentes condiciones lumínicas, en condiciones óptimas (más de 1000 lux), se logra una detección del 100% de los gestos. En condiciones moderadas (100 a 900 lux), la precisión se mantiene alta con un 94% de detección. Incluso en condiciones de baja luminosidad (menos de 100 lux), el sistema conserva una buena capacidad de detección con un 88%. Su alta precisión y confiabilidad en la detección de gestos les permite interactuar con fluidez y seguridad en diversos contextos, desde conversaciones casuales hasta entornos académicos y profesionales. |
URI : | http://dspace.espoch.edu.ec/handle/123456789/21433 |
Aparece en las colecciones: | Ingeniero en Electrónica, Telecomunicaciones y Redes; Ingeniero/a en Telecomunicaciones |
Ficheros en este ítem:
Fichero | Descripción | Tamaño | Formato | |
---|---|---|---|---|
98T00432.pdf | 24,06 MB | Adobe PDF | ![]() Visualizar/Abrir |
Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons