Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual

A Martinez; Sandra Esperanza Nope Rodríguez; Humberto Loaiza; Jose Hernando Mosquera-Delacruz; Gabriel Rodriguez; Juan David Jamioy-Cabrera

doi:10.25100/iyc.v25iSuplemento.13133

Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual

Translated title of the contribution: Human-robot interaction system for teaching-learning of an object sorting task by means of verbal and gestural communication

A Martinez
, Sandra Esperanza Nope Rodríguez
, Humberto Loaiza
, Jose Hernando Mosquera-Delacruz
, Gabriel Rodriguez
, Juan David Jamioy-Cabrera

Universidad del Valle
Universite d'Evry Val d'Essonne
Universidad Javeriana

Research output: Contribution to journal › Article › peer-review

Abstract

A multimodal (gestures and voice) human-robot interaction system was developed that allows users to teach color-cube sorting tasks to a robot. The evaluation of the system was performed by seven users in a quantitative and qualitative way. In the quantitati-ve tests, a total of 63 verbal interactions, 252 gestural interactions, and 63 multimodal interactions were evaluated. The recognition rate of the interactions was 98.41% for voice commands, 81.35% for gestural, and 80.95% for multimodal. After learning, the robot was able to correctly perform the task of classifying cubes by color in 100%; being able to respond successfully to initial conditions (locations and number of cubes) not previously taught. The qualitative evaluation of the system was carried out to know the perception of the users, yielding consistent results with the recognition percentages, favoring verbal interaction over multimodal interaction.

Translated title of the contribution	Human-robot interaction system for teaching-learning of an object sorting task by means of verbal and gestural communication
Original language	Spanish
Article number	e-20613133
Pages (from-to)	1-21
Number of pages	21
Journal	Ingeniería y Competitividad
Volume	25
Issue number	Supl
DOIs	https://doi.org/10.25100/iyc.v25iSuplemento.13133
State	Published - 29 Nov 2023

Access to Document

10.25100/iyc.v25iSuplemento.13133License: CC BY-ND

Cite this

Martinez, A., Nope Rodríguez, S. E., Loaiza, H., Mosquera-Delacruz, J. H., Rodriguez, G., & Jamioy-Cabrera, J. D. (2023). Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual. Ingeniería y Competitividad, 25(Supl), 1-21. Article e-20613133. https://doi.org/10.25100/iyc.v25iSuplemento.13133

@article{13d5d6a2db2847e0babb30f5b887b7d7,

title = "Sistema de interacci{\'o}n humano-robot para la ense{\~n}anza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicaci{\'o}n verbal y gestual",

abstract = "Se desarroll{\'o} un sistema interacci{\'o}n humano-robot multimodal (gestos y voz) que permite a usuarios ense{\~n}arle tareas de clasificaci{\'o}n de cubos por color a un robot. La evaluaci{\'o}n del sistema fue realizada por siete usuarios de forma cuantitativa y cualitativa. En las pruebas cuantitativas se evalu{\'o} un total de 63 interacciones verbales, 252 interacciones gestuales, y 63 multimodales. El porcentaje de reconocimiento de las interacciones fue del 98.41\% para los comandos de voz, 81.35 \% para los gestuales, y 80.95\% para las multimodales. Luego del aprendizaje, el robot fue capaz de realizar correctamente la tarea de clasificaci{\'o}n de cubos por color en un 100\%; siendo capaz de responder exitosamente ante condiciones iniciales (ubicaciones y cantidad de cubos) no ense{\~n}adas previamente. La evaluaci{\'o}n cualitativa del sistema se realiz{\'o} para conocer la percepci{\'o}n de los usuarios, arrojando resultados consistentes con los porcentajes de reconocimiento, favoreciendo la interacci{\'o}n verbal sobre la multimodal.",

author = "A Martinez and \{Nope Rodr{\'i}guez\}, \{Sandra Esperanza\} and Humberto Loaiza and Mosquera-Delacruz, \{Jose Hernando\} and Gabriel Rodriguez and Jamioy-Cabrera, \{Juan David\}",

year = "2023",

month = nov,

day = "29",

doi = "10.25100/iyc.v25iSuplemento.13133",

language = "Espa{\~n}ol ",

volume = "25",

pages = "1--21",

journal = "Ingenier{\'i}a y Competitividad",

issn = "0123-3033",

number = "Supl",

}

Martinez, A, Nope Rodríguez, SE, Loaiza, H, Mosquera-Delacruz, JH, Rodriguez, G & Jamioy-Cabrera, JD 2023, 'Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual', Ingeniería y Competitividad, vol. 25, no. Supl, e-20613133, pp. 1-21. https://doi.org/10.25100/iyc.v25iSuplemento.13133

Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual. / Martinez, A; Nope Rodríguez, Sandra Esperanza; Loaiza, Humberto et al.
In: Ingeniería y Competitividad, Vol. 25, No. Supl, e-20613133, 29.11.2023, p. 1-21.

Research output: Contribution to journal › Article › peer-review

TY - JOUR

T1 - Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual

AU - Martinez, A

AU - Nope Rodríguez, Sandra Esperanza

AU - Loaiza, Humberto

AU - Mosquera-Delacruz, Jose Hernando

AU - Rodriguez, Gabriel

AU - Jamioy-Cabrera, Juan David

PY - 2023/11/29

Y1 - 2023/11/29

N2 - Se desarrolló un sistema interacción humano-robot multimodal (gestos y voz) que permite a usuarios enseñarle tareas de clasificación de cubos por color a un robot. La evaluación del sistema fue realizada por siete usuarios de forma cuantitativa y cualitativa. En las pruebas cuantitativas se evaluó un total de 63 interacciones verbales, 252 interacciones gestuales, y 63 multimodales. El porcentaje de reconocimiento de las interacciones fue del 98.41% para los comandos de voz, 81.35 % para los gestuales, y 80.95% para las multimodales. Luego del aprendizaje, el robot fue capaz de realizar correctamente la tarea de clasificación de cubos por color en un 100%; siendo capaz de responder exitosamente ante condiciones iniciales (ubicaciones y cantidad de cubos) no enseñadas previamente. La evaluación cualitativa del sistema se realizó para conocer la percepción de los usuarios, arrojando resultados consistentes con los porcentajes de reconocimiento, favoreciendo la interacción verbal sobre la multimodal.

AB - Se desarrolló un sistema interacción humano-robot multimodal (gestos y voz) que permite a usuarios enseñarle tareas de clasificación de cubos por color a un robot. La evaluación del sistema fue realizada por siete usuarios de forma cuantitativa y cualitativa. En las pruebas cuantitativas se evaluó un total de 63 interacciones verbales, 252 interacciones gestuales, y 63 multimodales. El porcentaje de reconocimiento de las interacciones fue del 98.41% para los comandos de voz, 81.35 % para los gestuales, y 80.95% para las multimodales. Luego del aprendizaje, el robot fue capaz de realizar correctamente la tarea de clasificación de cubos por color en un 100%; siendo capaz de responder exitosamente ante condiciones iniciales (ubicaciones y cantidad de cubos) no enseñadas previamente. La evaluación cualitativa del sistema se realizó para conocer la percepción de los usuarios, arrojando resultados consistentes con los porcentajes de reconocimiento, favoreciendo la interacción verbal sobre la multimodal.

UR - https://revistaingenieria.univalle.edu.co/index.php/ingenieria_y_competitividad/article/view/13133

U2 - 10.25100/iyc.v25iSuplemento.13133

DO - 10.25100/iyc.v25iSuplemento.13133

M3 - Artículo

SN - 0123-3033

VL - 25

SP - 1

EP - 21

JO - Ingeniería y Competitividad

JF - Ingeniería y Competitividad

IS - Supl

M1 - e-20613133

ER -

Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual

Abstract

Access to Document

Other files and links

Fingerprint

Aproximación a una arquitectura cognitiva para el aprendizaje y generalización de un proceso de clasificación aplicado en un robot colaborativo

Sistema de correspondencia para cálculo de relación píxel centímetro en mesa de ensamble por cámara web con inclinación

Cite this

Sistema de interacción humano-robot para la enseñanza-aprendizaje de una tarea de ordenamiento de objetos mediante comunicación verbal y gestual

Abstract

Access to Document

Other files and links

Fingerprint

Projects

Aproximación a una arquitectura cognitiva para el aprendizaje y generalización de un proceso de clasificación aplicado en un robot colaborativo

Research output

Sistema de correspondencia para cálculo de relación píxel centímetro en mesa de ensamble por cámara web con inclinación

Cite this