Publication: Asistente accesible en Android para la identificación de billetes con cambio de divisa en tiempo real
Loading...
Official URL
Full text at PDC
Publication Date
2020
Authors
Advisors (or tutors)
Editors
Journal Title
Journal ISSN
Volume Title
Publisher
Citations
Exportar
Abstract
Actualmente vivimos rodeados de tecnología y dispositivos electrónicos que evolucionan constantemente, como por ejemplo un teléfono móvil el cual al integrar sus distintos periféricos, su capacidad de procesamiento y conectividad a internet permite realizar varias tareas que facilitan el día a día de las personas y más de aquellas que tienen discapacidades, como por ejemplo las personas ciegas.
El presente trabajo implementa varios conceptos del Internet de las Cosas (IoT) con el objetivo de facilitar la tarea de identificación de billetes euros y dólares, a personas ciegas por medio de un asistente accesible para teléfonos móviles Android. El asistente también informa del cambio de divisa en tiempo real y toda esta información es desplegada en texto; con ayuda herramientas de accesibilidad como TalkBack se transforma ese texto en voz, facilitando así la interacción del usuario con la aplicación.
Para la identificación de billetes se crea un servicio en AWS Lambda que trabaja bajo peticiones. Este servicio utiliza un modelo de redes neuronales desarrollado con herramientas de visión con la librería fast.ai y PyTorch, para el reconocimiento de imágenes. El modelo es entrenado, posteriormente puesto a prueba en dos escenarios y finalmente implementado. Por otro lado, para conocer la información sobre el cambio de divisas, se ha tomado un servicio en la nube de una fuente de datos abiertos por medio de una API Rest.
Estos servicios son integrados en una aplicación la cual tiene como característica ser desarrollada en Apache Cordova con un enfoque web, permitiendo así agregar varios microservicios que funcionen a la par. Con Cordova también se puede acceder a los distintos sensores, en este caso la cámara que se utilizar para hacer fotos a los distintos billetes y luego enviar esta información para que sea procesada por los servicios en la nube.
Currently we live surrounded by technology and electronic devices in constant evolution, such as a mobile phone that by integrating its different peripherals, its processing capacity and internet connectivity allows us to perform various tasks that facilitate people’s day-to-day life and more than they have disabilities, like blind people. The present work implements several Internet of Things (IoT) concepts with the aim of facilitating the task of identifying euro and dollar bills for blind people through an accessible assistant for Android mobile phones. The assistant also reports the currency exchange in real time and all this information is displayed in text; With the help of accessibility tools like TalkBack, this text is transformed into speech, which facilitates user interaction with the application. For the identification of banknotes, a service is created in AWS Lambda that works under requests. This service uses a neural network model developed with vision tools with the fast.ai and PyTorch library, for image recognition. The model is trained, subsequently tested in two scenarios, and finally implemented. On the other hand, to know the information about currency exchange, a cloud service has been taken from an open data source through a Rest API. These services are integrated into an application that has the characteristic of being developed in Apache Cordova with a web approach, which allows adding several microservices that work together. With Cordova you can also access the different sensors, in this case the camera that will be used to take photos of the different banknotes and then send this information to be processed by cloud services.
Currently we live surrounded by technology and electronic devices in constant evolution, such as a mobile phone that by integrating its different peripherals, its processing capacity and internet connectivity allows us to perform various tasks that facilitate people’s day-to-day life and more than they have disabilities, like blind people. The present work implements several Internet of Things (IoT) concepts with the aim of facilitating the task of identifying euro and dollar bills for blind people through an accessible assistant for Android mobile phones. The assistant also reports the currency exchange in real time and all this information is displayed in text; With the help of accessibility tools like TalkBack, this text is transformed into speech, which facilitates user interaction with the application. For the identification of banknotes, a service is created in AWS Lambda that works under requests. This service uses a neural network model developed with vision tools with the fast.ai and PyTorch library, for image recognition. The model is trained, subsequently tested in two scenarios, and finally implemented. On the other hand, to know the information about currency exchange, a cloud service has been taken from an open data source through a Rest API. These services are integrated into an application that has the characteristic of being developed in Apache Cordova with a web approach, which allows adding several microservices that work together. With Cordova you can also access the different sensors, in this case the camera that will be used to take photos of the different banknotes and then send this information to be processed by cloud services.
Description
Trabajo de Fin de Máster en Internet de las Cosas, Facultad de Informática UCM, Departamento de Arquitectura de Computadores y Automática, Curso 2019/2020
La creación y ejecución del modelo se puede observar en el siguiente enlace: https://github.com/francisandres7/tfmUcm/blob/master/Modelado/tfm.ipynb
Los códigos para la función Lambda desarrollada con AWS SAM se encuentran en el siguiente enlace: https://github.com/francisandres7/tfmUcm/blob/master/FunciónLambda/
Los códigos para la aplicación realizada en Cordova se encuentran en el siguiente enlace: https://github.com/francisandres7/tfmUcm/blob/master/Aplicación