Publication: Perspective-based referring expression generation in a 3D environment
Loading...
Official URL
Full text at PDC
Publication Date
2015
Advisors (or tutors)
Editors
Journal Title
Journal ISSN
Volume Title
Publisher
Citations
Exportar
Abstract
With the ability of communicating verbally that human beings have, a series of problems arises that have no precedents in other animals. Due to differences in customs, origins, sex, race and many others, the way humans express themselves and analize situations can be very different from one person to another.
This project is based on a previous work (Rabadán and Rodríguez, 2014), where it was researched the way in which people create descriptions to refer to someone in particular and a meta-algorithm was created, capable of generating a description of a person in digital 3D environment. Nevertheless, this meta-algorithm had limitations because it was tested in very specific ways, for example, having the person that is going to be described always in the user's field of view, and having the user's field of view fixed and unmovable.
In this project is investigated how spatial properties and the different points of view of the interlocutors affect the composition of descriptions used when referring to another person.
Having as a base the algorithm of the previous project, a new metaalgorithm has been created capable of the generation of descriptions in more realistic circumstances. The performance of the previous algorithm was conditioned by not very realistic factors, but the new meta-algorihtm aims to generate clear and understandable descriptions for human beings and also aims to be prepared to generate descriptions in situations more like real life.
Using the graphic engine Unity 3D, the previous closed room with characters was employed for testing the new meta-algorithm. Nevertheless, the ability to move around the environment and new random characters were added. This way, a 3D environment was created where the different situations the new meta-algorithm can be tested against increases.
The effectiveness of the new meta-algoritm was put to the test by a series of surveys that measure the performace through real life users. These users read the generated drescriptions and look for the character that was described. This way, it was possible to verify that the descriptions were clear enough for any person to understand.
As a consecuence of this project, an advance in the field of Generation of Referring Expressions was made with the creation of a meta-algorithm with a high success rate, capable of adapting in real time and taking into account the relative positions of the description's receptor. This way, the generated descriptions are more realistic than in the previous project.
Con la capacidad que tiene el ser humano para comunicarse verbalmente surgen una serie de problemas que no tienen precedentes en otros animales. Debido a las diferentes costumbres, orígenes, sexo, raza y muchas otras razones, la forma de expresarse y analizar las situaciones pueden ser muy distintas de una persona a otra. Este proyecto se basa en un trabajo anterior (Rabadán and Rodríguez, 2014), en el cual se exploró como las personas realizan descripciones para referirse a alguien en concreto y se creó un meta-algoritmo capaz de generar una descripción de una persona en un entorno 3D digital. No obstante, este meta-algoritmo poseía algunas limitaciones ya que se había probado en situaciones muy concretas en donde, por ejemplo, la persona que se quiere describir estaba siempre a la vista del usuario y el campo de visión del usuario era fijo y no cambiaba. En este proyecto se investigan como las propiedades espaciales y las diferentes perspectivas visuales de los interlocutores pueden afectar a la composición de las descripciones usadas para referirse a otra persona. Teniendo como base el algoritmo del anterior proyecto, se ha creado un nuevo meta-algoritmo capaz de generar descripciones en circunstancias más realistas. Debido a que el funcionamiento del algoritmo anterior estaba condicionado por factores muy poco realistas, se busca que el nuevo meta-algoritmo genere descripciones claras y entendibles para seres humanos y que además esté preparado para generar descripciones en situaciones más parecidas a la vida real. Con el motor gráfico de Unity 3D se ha hecho uso de la habitación cerrada con personajes que se empleó en el proyecto anterior para hacer las pruebas del nuevo meta-algoritmo. No obstante, se le han añadido personajes aleatorios y la habilidad de moverse a través del entorno. De esta manera, se ha elaborado un entorno 3D en donde las distintas situaciones en las que se puede probar este nuevo meta-algoritmo son mayores. La eficacia de este nuevo meta-algoritmo se ha puesto a prueba mediante una serie de encuestas que miden el desempeño de éste a través de usuarios reales. Estos usuarios leen las descripciones generadas y buscan al personaje que se les describe. De esta manera, se pudo comprobar que las descripciones eran lo suficientemente claras para que cualquier persona las pudiera entender. Como consecuencia de este proyecto, se ha avanzado en el campo de Generación de Expresiones de Referencia con la creación de un meta-algoritmo con un alto índice de éxito, capaz de cambiar en tiempo real y tener en cuenta las posiciones relativas del receptor de la descripción. Así, las descripciones generadas son más realistas que en el proyecto anterior.
Con la capacidad que tiene el ser humano para comunicarse verbalmente surgen una serie de problemas que no tienen precedentes en otros animales. Debido a las diferentes costumbres, orígenes, sexo, raza y muchas otras razones, la forma de expresarse y analizar las situaciones pueden ser muy distintas de una persona a otra. Este proyecto se basa en un trabajo anterior (Rabadán and Rodríguez, 2014), en el cual se exploró como las personas realizan descripciones para referirse a alguien en concreto y se creó un meta-algoritmo capaz de generar una descripción de una persona en un entorno 3D digital. No obstante, este meta-algoritmo poseía algunas limitaciones ya que se había probado en situaciones muy concretas en donde, por ejemplo, la persona que se quiere describir estaba siempre a la vista del usuario y el campo de visión del usuario era fijo y no cambiaba. En este proyecto se investigan como las propiedades espaciales y las diferentes perspectivas visuales de los interlocutores pueden afectar a la composición de las descripciones usadas para referirse a otra persona. Teniendo como base el algoritmo del anterior proyecto, se ha creado un nuevo meta-algoritmo capaz de generar descripciones en circunstancias más realistas. Debido a que el funcionamiento del algoritmo anterior estaba condicionado por factores muy poco realistas, se busca que el nuevo meta-algoritmo genere descripciones claras y entendibles para seres humanos y que además esté preparado para generar descripciones en situaciones más parecidas a la vida real. Con el motor gráfico de Unity 3D se ha hecho uso de la habitación cerrada con personajes que se empleó en el proyecto anterior para hacer las pruebas del nuevo meta-algoritmo. No obstante, se le han añadido personajes aleatorios y la habilidad de moverse a través del entorno. De esta manera, se ha elaborado un entorno 3D en donde las distintas situaciones en las que se puede probar este nuevo meta-algoritmo son mayores. La eficacia de este nuevo meta-algoritmo se ha puesto a prueba mediante una serie de encuestas que miden el desempeño de éste a través de usuarios reales. Estos usuarios leen las descripciones generadas y buscan al personaje que se les describe. De esta manera, se pudo comprobar que las descripciones eran lo suficientemente claras para que cualquier persona las pudiera entender. Como consecuencia de este proyecto, se ha avanzado en el campo de Generación de Expresiones de Referencia con la creación de un meta-algoritmo con un alto índice de éxito, capaz de cambiar en tiempo real y tener en cuenta las posiciones relativas del receptor de la descripción. Así, las descripciones generadas son más realistas que en el proyecto anterior.
Description
Trabajo de Fin de Grado en Ingeniería del Software (Universidad Complutense, Facultad de Informática, curso 2014/2015)