Tecnologías Específicas

Computación

Descripcion y Objetivos

En los sistemas de interacción humano-robot es de especial importancia la capacidad del robot de mantener un diálogo lo más natural posible. Normalmente, el robot es capaz de realizar unas tareas específicas y dar/pedir información sobre las mismas o responder a preguntas básicas (¿cómo te llamas?, ¿cómo estás?). Sin embargo, para una conversación natural es conveniente que el robot tenga información contextual del lugar en el que está para poder incluir esos datos en la conversación, esto es, reconocer a las personas con las que habla y sugerir temas de conversación adecuados a dicha persona y teniendo en cuenta los objetos que se encuentran al alcance (por ejemplo, si hay una taza, preguntar a una persona específica si quiere tomar un café).

Para llevar a cabo esta tarea, es necesario que el robot sea capaz de identificar y reconocer a las personas y objetos mediante técnicas de visión por computador y aprendizaje automático. Esta información contextual será la base a partir de la cuál el robot decida cómo llevar a cabo la conversación con el usuario. En la actualidad, existen librerías de procesamiento de imágenes que incluyen algoritmos básicos para detección y reconocimiento, así como, librerías específicas de aprendizaje automático para entrenar modelos específicos o usar modelos preentrenados que están disponibles online.

Con este trabajo se pretende principalmente abordar la capacidad de generar un diálogo con el usuario, de forma que se reconozca al mismo y, empleando información contextual (por ejemplo, objetos detectados), se enriquezca el modelo. Para ello se necesitarán, técnicas de clasificación de imágenes, herramientas de reconocimiento facial, y aprendizaje automático para la generación de diálogos. Como modelos a explorar podrían entrar desde un sistema basado en reglas hasta un árbol de decisión.

 

Metodología y Competencias

Para desarrollar este trabajo existen varias fases diferenciadas:

1.- Estudio preliminar del problema y de las herramientas existentes.

2.- Diseño de un sistema de detección y reconocimiento (captación de datos).

3.- Aprendizaje a partir de la base de datos generada en la fase 2. Dado un usuario, y a partir de los datos de entrada, el modelo aprendido deberá ser capaz de determinar una temática de conversación.

[Las fases 2-3 podrían ser iterativas hasta encontrar modelos representativos.]

4.- Evaluación de los resultados.

5.- Analisis y comparativa entre los distintos modelos, si hubiera más de uno.

Mediante la realización de este TFG se trabajarán, en distinto grado de profundidad, las siguientes competencias específicas de la intensificación de Computación:

• [CM4] Capacidad para conocer los fundamentos, paradigmas y técnicas propias de los sistemas inteligentes y analizar, diseñar y construir sistemas, servicios y aplicaciones informáticas que utilicen dichas técnicas en cualquier ámbito de aplicación.
• [CM6] Capacidad para desarrollar y evaluar sistemas interactivos y de presentación de información compleja y su aplicación a la resolución de problemas de diseño de interacción persona computadora.
• [CM7] Capacidad para conocer y desarrollar técnicas de aprendizaje computacional y diseñar e implementar aplicaciones y sistemas que las utilicen, incluyendo las dedicadas a extracción automática de información y conocimiento a partir de grandes volúmenes de datos.

 

 

Medios a utilizar

Será necesario un ordenador que disponga de cámara. Como herramienta se empleará la librería OpenCV junto con el lenguaje de programación a elección del estudiante entre Python o C++.

En el supuesto de que el desarrollo de esta herramienta dé buenos resultados rápido (primeros 2-3 meses), cabría la posibilidad de intentar exportar el código al robot Pepper disponible en el laboratorio de la ESIIAB SW1.

 

Bibliografía

• T. Fong, I. Nourbakhsh, K. Dautenhahn. A survey of socially interactive robots. Robotics and Autonomous Systems 42(3–4), 143 – 166 (2003)
• M.F. McTear. Spoken Dialogue Technology: Enabling the Conversational User Interface. ACM Comput. Surv. 34(1), 90–169 (Mar 2002)
• OpenCV: https://opencv.org/
• Aprendizaje automático en python: http://scikit-learn.org/