La comunicación persona-máquina y la comunicación persona-persona asistida por ordenador


La comunicación persona-máquina (HCI, Human - Computer Interaction)
La interacción con los ordenadores
La interacción humana
Las nuevas necesidades
¿Qué quisiéramos tener?
¿Qué tecnologías necesitamos?
Ventajas de la comunicación oral persona-máquina
Libertad para otras tareas simultáneas
Acceso a la información mediante el teléfono
Medio de comunicación natural
La comunicación persona-persona mediatizada por una máquina (CMM, Computer-Mediated Communication)
Traducción entre modalidades
Escrito - Escrito
Oral - Oral
Escrito - Oral
Oral - Escrito
Lengua oral - Movimientos labiales
Lengua oral - Lengua de signos

Comunicación persona-máquina


La comunicación persona-máquina (HCI, Human - Computer Interaction)

HCI.jpg

La interacción con los ordenadores

Pantalla
Teclado
Ratón
Lápiz
Tacto
      
Canal visual
Lengua escrita

La interacción humana

Hace unos 5.000 años que escribimos … pero hace unos 100.000 años que hablamos (250.000 - 50.000 años según los autores).

Origen y evolución del lenguaje

Las nuevas necesidades

Desarrollo de la Sociedad de la Información para todos, incluso para las personas con necesidades especiales. Automatización de servicios telefónicos para obtener información y para realizar transacciones.

Tamaño reducido de las pantallas y de los teclados en los teléfonos inteligentes y en los ordenadores portátiles.

¿Qué quisiéramos tener?

Un ordenador que:

Hal.
S. Kubrick, 2001: A Space Odyssey (1968).
A. C. Clarke, The Sentinel (1951).

¿Qué tecnologías necesitamos?

Un ordenador que:

LingWear, Wearable Linguistic Assistant.

InterACT, The Interactive Systems Lab, Carnegie Mellon University, Karlsruhe Institute of Technology.

Sonia, asistente interactivo digital para teléfonos móviles.

Umanify, Barcelona.

Siri para iPhone 4S y modelos posteriores.

Apple Inc., Cupertino, CA.

Ventajas de la comunicación oral persona-máquina

Libertad para otras tareas simultáneas

IvonaTTS. (04/08/2008). Skype voiced by IVONA [Archivo de video]. Consultado en http://www.youtube.com/watch?v=3KWA3GJW3aw

Expressivo Text-to-Speech Reader, Yvona, Gdynia, Poland.

Entrada de datos sobre productos en gestión de fondos de almacén o catalogación de materiales.

Entrada de datos.

SpeeData, Speech Recognition for Data Entry Applications, LE11999 (1995-1998), Telematics Applications Programme, FP4.

Control de calidad en entornos industriales.

Acceso a información en cabinas de aviones y en entornos complejos.

Control de los accesorios en vehículos.

“A new study by the Virginia Tech Transportation Institute found that interactive voice systems used for outbound text messaging reduced levels of driver distraction compared to manually texting on a smartphone. The study was commissioned for telematics services provider ATX Group of Dallas, which developed the in-vehicle voice technology system.”

Speech Technology Magazine, 11 April, 2011.

Control vocal de un sistema de navegación.

VODIS, Advanced Speech Technologies for Voice Operated Driver Information Systems, LE12277 (1995-1997), Telematics Applications Programme, FP4.

Interacción oral en vehículos.

Spoken Language Systems Group, MIT Computer Science and Artificial Intelligence Laboratory.

Control del entorno doméstico.

Control vocal de una cadena de música.

Proyecto Edecán, sistEma de Diálogo multidominio con adaptación al contExto aCústico y de AplicacióN (2005-2008). Grupo de Tecnologías de las Comunicaciones, Universidad de Zaragoza; Grupo de Ingeniería del Lenguaje Natural y Reconocimiento de Formas, Universidad Politécnica de Valencia; Grupo de Reconocimiento de Formas y Tecnologías del Habla, Universidad del País Vasco; Grupo de Tecnología del Habla, Universidad Politécnica de Madrid.

Interacción vocal con teléfonos inteligentes.

Barra, H. y Burke, D. (2010). Just speak it: Introducing voice actions for Android. Google Mobile blog [Página web]. Mountain View, CA: Google. Consultado en http://googlemobile.blogspot.com.es/2010/08/just-speak-it-introducing-voice-actions.html

Control vocal de teléfonos inteligentes.

Barra, H. y Burke, D. (2010). Just speak it: Introducing voice actions for Android. Google mobile blog [Página web]. Mountain View, CA: Google. Consultado en http://googlemobile.blogspot.com.es/2010/08/just-speak-it-introducing-voice-actions.html

Búsqueda de información mediante el habla en teléfonos inteligentes.

Google. (s.d.). Voice search. Inside search [Página web]. Mountain View, CA: Google. Consultado en http://www.google.com/intl/en/insidesearch/features/voicesearch/index.html

Dictado automático

Rapidez del habla en comparación con la escritura.

Ainsworth, W. A. (1988). Speech recognition by machine. London: P. Peregrinus on behalf of the Institution of Electrical Engineers. (pp. 2-3)

Mecanografía: Escritura a mano: Habla:

La velocidad de elocución

Dictado automático de SMS.

Medialink & Nuance. (2006). Nuance hosts “the amazing race” - Text messaging and speech recognition competition, pits man against machine [Página web]. Kurzweil. Consultado en http://www.kurzweilai.net/nuance-hosts-amazing-race-text-speech-competition

Dictado automático

Acceso a la información mediante el teléfono

Información sobre transportes públicos.

fgc.jpg

Prototipo de un sistema de diálogo para acceder a información sobre los Ferrocarrils de la Generalitat (2001).

CREL, Centre de Referència en Enginyeria Lingüística de la Generalitat de Catalunya.

CREL_Consulta.jpg

Consulta de la información deseada y verificación por parte del sistema.

CREL_Dialeg.jpg

Reconocimiento automático del habla y comprensión del habla.

CREL_Comprensio.jpg

Proceso de extracción de la información relevante en la consulta.

CREL_Generacio.jpg

Proceso de generación de la respuesta.

CREL_Resposta.jpg

Respuesta a la consulta.

Información meteorológica.

MeteoCat_Mapa.jpg

Temps per telèfon.

Servei Meteorològic de Catalunya,Generalitat de Catalunya.

Consulta de páginas amarillas o páginas blancas.

Consulta de calificaciones.

sacc.jpg

Consulta de calificaciones por teléfono

SACC, Sistema Automático de Consulta de Calificaciones, Grupo de Investigación en Señales, Telemática y Comunicaciones, Universidad de Granada.

Banca telefónica.

NaturalVox_Demo.jpg

Demostración de banca telefónica.

Natural Vox, Vitoria.

Centralitas telefónicas automatizadas.

Lectura del correo electrónico.

TelCorreo.jpg

Lectura del correo electrónico mediante el sistema Cotovía.

Grupo de Tecnologías Multimedia de la Universidad de Vigo y Centro Ramón Piñeiro para a Investigación en Humanidades.

Portales de voz

Terra.jpg

Ydilo.jpg

Portales de voz.

Portal_Consulta.jpg

Consulta de información a un portal de voz.

Ydilo_Consulta.jpg

Proceso de consulta a un sistema con respuestas mediante plantillas previamente grabadas (Ydilo).

Ydilo_Formadeonda_F0.jpg

Forma de onda y curva melódica en un sistema con respuestas pregrabadas (Ydilo).

Terra_Consulta.jpg

Proceso de consulta a un sistema con respuestas mediante conversión de texto en habla (Terra).

Ydilo_Terra.jpg

Comparación entre las técnicas utilizadas en dos portales de voz (Ydilo y Terra).

Medio de comunicación natural

Chapanis, A. (1975). Interactive human communication. Scientific American, 232, 36-42. Consultado en http://web.media.mit.edu/~geek/class/ChapanisSciAm.pdf

Chapanis

Alphonse Chapanis (1917-2002)
(Fuente: The John Hopkins Newsletter, 25/10/02)

Canales de comunicación: Tiempo de resolución de problemas:
Chapanis_75.jpg

Chapanis, A. (1975). Interactive human communication. Scientific American, 232, 36-42. Consultado en http://web.media.mit.edu/~geek/class/ChapanisSciAm.pdf

Limitaciones de la comunicación oral persona-máquina

Falta de naturalidad de los sistemas de conversión de texto en habla.

Dificultades en el reconocimiento del habla continua en sistemas independientes del locutor y en entornos adversos.

Falta de adecuación pragmática de los modelos de diálogo persona-máquina.

Dominios limitados en la traducción automática del habla.

arrow_up_gray

La comunicación persona-persona mediatizada por una máquina (CMM, Computer-Mediated Communication)

CMM.jpg

Traducción entre modalidades

Escrito - Escrito

Traducción automática de textos (MT, Machine Translation).

Oral - Oral

Traducción automática del habla (SLT, Spoken Language Translation).

La traducción automática del habla

Escrito - Oral

Conversión de texto en habla (TTS, Text-to-Speech Synthesis).

La conversión de texto en habla

Oral - Escrito

Reconocimiento automático del habla (ASR, Automatic Speech Recognition).

El reconocimiento automático del habla

Lengua oral - Movimientos labiales

Traducción de lengua oral a movimientos labiales

Lengua oral - Lengua de signos

Traducción de lengua oral a lengua de signos

arrow_up_gray

Comunicación persona-máquina


La comunicación persona-máquina y la comunicación persona-persona asistida por ordenador
Joaquim Llisterri, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
http://liceu.uab.cat/~joaquim/speech_technology/tecnol_parla/speech_tech_general/comunicacion_persona_maquina/comunicacion_persona_maquina.html
Last updated:27/3/14 11:44

Creative Commons License
This work is licensed under a Creative Commons Attribution-Noncommercial-Share Alike 3.0 License.