Publication: Automatic SignWriting Recognition: Combining
Machine Learning and Expert Knowledge
to Solve a Novel Problem
Loading...
Official URL
Full text at PDC
Publication Date
2023-02-03
Advisors (or tutors)
Editors
Journal Title
Journal ISSN
Volume Title
Publisher
IEEE
Citations
Exportar
Abstract
Sign languages are viso-gestual languages, using space and movement to convey meaning. To be able to transcribe them, SignWriting uses an iconic system of symbols meaningfully arranged in the page. This two-dimensional system, however, is very different to traditional writing systems, so its automatic processing poses a novel challenge for computational linguistics. In this article, we present a novel problem for the state of the art in artificial intelligence: automatic SignWriting recognition. We examine the problem, model the underlying data domain, and present a first solution in the form of an expert system that exploits the domain knowledge encoded in the data modelization. This system uses an adaptable pipeline of neural networks and deterministic processing, overcoming the challenges posed by the novelty and originality of the problem. Thanks to our data modelization, it improves the accuracy compared to a straight-forward deep learning approach by 17%. All of our data and code are publicly available, and our approach may be useful not only for SignWriting processing but also for other similar graphical data.
Las lenguas de signos son idiomas viso-gestuales que utilizan el espacio y el movimiento para transmitir significado. Para transcribirlas, la SignoEscritura utiliza un sistema icónico de símbolos distribuidos de manera significativa por la página. Este sistema bidimensional es muy diferente a los sistemas de escritura tradicionales, lo que convierte su tratamiento automático en un desafío novedoso para la lingüística computacional. En este artículo presentamos un problema nuevo para el estado del arte en inteligencia artificial: reconocimiento automático de la SignoEscritura. Examinamos el problema, modelamos el dominio de datos subyacente y presentamos una primera solución, un sistema experto que explota el conocimiento del dominio codificado en la modelización de los datos. Este sistema utiliza un pipeline adaptable de redes neuronales y procesamiento por reglas para superar el reto que plantea la novedad y originalidad de el problema. Gracias a nuestra modelización de datos, mejoramos en un 17% la precisión de reconocimiento en comparación con una aplicación directa de aprendizaje profundo. Todos nuestros datos y códigos están disponibles públicamente, y nuestro enfoque puede ser útil no solo para el procesamiento de SignoEscritura, sino también para otros dominios de datos gráficos similares.
Las lenguas de signos son idiomas viso-gestuales que utilizan el espacio y el movimiento para transmitir significado. Para transcribirlas, la SignoEscritura utiliza un sistema icónico de símbolos distribuidos de manera significativa por la página. Este sistema bidimensional es muy diferente a los sistemas de escritura tradicionales, lo que convierte su tratamiento automático en un desafío novedoso para la lingüística computacional. En este artículo presentamos un problema nuevo para el estado del arte en inteligencia artificial: reconocimiento automático de la SignoEscritura. Examinamos el problema, modelamos el dominio de datos subyacente y presentamos una primera solución, un sistema experto que explota el conocimiento del dominio codificado en la modelización de los datos. Este sistema utiliza un pipeline adaptable de redes neuronales y procesamiento por reglas para superar el reto que plantea la novedad y originalidad de el problema. Gracias a nuestra modelización de datos, mejoramos en un 17% la precisión de reconocimiento en comparación con una aplicación directa de aprendizaje profundo. Todos nuestros datos y códigos están disponibles públicamente, y nuestro enfoque puede ser útil no solo para el procesamiento de SignoEscritura, sino también para otros dominios de datos gráficos similares.
Description
Este artículo forma parte de la tesis por compendio de Antonio F. G. Sevilla, titulada "Tratamiento Computacional de Lengua de Signos Española y SignoEscritura", dirigida por Alberto Díaz Esteban y defendida el 2023-12-12 con una calificación de Sobresaliente cum laude
UCM subjects
Unesco subjects
Keywords
Citation
Sevilla, A. F. G., Díaz Esteban, A., & Lahoz-Bengoechea, J. M. (2023). Automatic SignWriting recognition: Combining machine learning and expert knowledge to solve a novel problem. IEEE Access, 11, 13211-13222. https://doi.org/10.1109/ACCESS.2023.324220