La traducción automática del habla


Traducción automática del habla y comunicación persona-persona mediatizada por ordenador
La traducción automática del habla
Problemas lingüísticos en la traducción automática del habla
Sistemas de traducción automática del habla
La traducción automática entre otras modalidades

La traducción automática del habla


Traducción automática del habla y comunicación persona-persona mediatizada por un ordenador

CMC, Computer-Mediated Communication.

../../speech_tech_general/comunicacion_persona_maquina/CMM.jpg

Traducción entre modalidades

Escrito - Oral

Conversión de texto en habla.
TTS, Text-to-Speech Synthesis.

Oral - Escrito

Reconocimiento automático del habla.
ASR, Automatic Speech Recognition.

Escrito - Escrito

Traducción automática de textos.
MT, Machine Translation.

Oral - Oral

Traducción automática del habla.
SLT, Spoken Language Translation.

arrow_up_gray

La traducción automática del habla

SLT, Spoken Language Translation.
SST, Speech-to-Speech Translation.
TAH, Traducción automática del habla.
TAP, Traducció automàtica de la parla.

TAH_Esquema.jpg

Estructura general de un sistema de traducción automática del habla.

Arquitectura del sistema de traducción automática del habla de SRI International.

Arquitectura del sistema de traducción automática del habla del consorcio C-STAR.

(Fuente: Le groupe francophone CLIPS++ et le démonstrateur de traduction de parole pour le français).



Arquitectura del sistema de traducción automática del habla del consorcio U-STAR.

U-STAR. (2013). Research. U-STAR, Universal Speech Translation Advanced Research Consortium [Página web]. Consultado en http://www.ustar-consortium.com/research.html

Dominios restringidos.

Interacción pregunta-respuesta.

Accesibles a través de teléfonos convencionales, teléfonos inteligentes, tabletas y ordenadores de sobremesa.

Multimodalidad.

Técnicas de traducción automática específicamente adaptadas a la lengua oral.

Complementariedad del conocimiento lingüístico y del conocimiento tecnológico.

Aproximaciones estadísticas basadas en el uso de corpus paralelos.

Casacuberta, F. (2004). Traducción automática del habla. En M. A. Martí y J. Llisterri (Eds.), Tecnologías del texto y del habla. (pp. 121-44). Barcelona - Soria: Edicions de la Universitat de Barcelona - Fundación Duques de Soria.

arrow_up_gray

Problemas lingüísticos en la traducción automática del habla

“...sí sí venerdì diciannove posso, sì perchè sai oggi vado via per il viaggio D, la verità è che questo mese è pieno di viaggi parto il giorno sei per un viaggio e starò via fino al dodici ed è per questo che il giorno diciannove mi va proprio bene francamente...”

“...yes yes on friday nineteen can, yes because know I go me of trip today, the truth such is that this month is very traveller I go me the day six of trip and I am until the twelve as soon as the day nineteen comes me very well outspokenly”

NESPOLE! NEgotiating through SPOken Language in E-commerce. Istituto Trentino di Cultura - Centro per la Ricerca Scientifica e Tecnologica, Universität Karlsruhe, Carnegie Mellon University, Université Joseph Fourier, AETHRA S.r.l., Azienda per la Promozione Turistica del Trentino. Proyecto IST-1999-11562 (2000-2002).

“...sí sí el viernes diecinueve puedo sí porque sabes me voy de viaje d hoy la verdad así es que este mes es muy viajero me voy el día seis de viaje y estoy hasta el doce así que el día diecinueve me viene muy bien francamente...”

“yes yes on friday nineteen can yes because know I go me of trip D today the truth such is that this month is very traveler I go me the day six of trip and I am until the twelve as soon as the day nineteen comes me very well outspokenly”

Waibel, A. (1996). Interactive translation of conversational speech. IEEEE Computer, 29(7), 41-48. Consultado en http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.45.9546

Problemas del habla espontánea

Fenómenos relacionados con la interrupción de la fluidez debidos a la planificación del discurso realizada por el hablante.

Disfluencies.

Pausas “llenas”:

Repeticiones.

Palabras truncadas.

Falsos principios.

Interrupciones seguidas de una reformulación.

Frases inacabadas.

Velocidad de elocución.

Fenómenos propios del habla espontánea en el corpus BASURDE.

Torres, M. I. (2006). El reconocimiento del habla. En J. Llisterri y M. J. Machuca (Eds.), Los sistemas de diálogo. (pp. 81-98). Bellaterra - Soria: Universitat Autònoma de Barcelona - Fundación Duques de Soria.

Problemas del diálogo

Elementos anafóricos.

Elementos deícticos.

Elipsis.

Presuposiciones.

arrow_up_gray

Sistemas de traducción automática del habla

Verbmobil

DFKI. (2000). Verbmobil [Página web]. Saarbrücken: DFKI, Deutsches Forschungszentrum für Künstliche Intelligenz. Consultado en http://verbmobil.dfki.de

Verbmobil_logo.jpg

Proyecto nacional alemán financiado por el Bundesministeriums für Bildung und Forschung (1993-2000).

Sistema de traducción de diálogos espontáneos por teléfono móvil.

Dominios restringidos: citas, preparación de viajes, reservas de hotel.

Lenguas: alemán, inglés y japonés.

Verbmobil_Esquema.jpg

Wahlster, W. (2000). Mobile speech-to-speech translation of spontaneous dialogs: An overview of the final Verbmobil system. En W. Wahlster (Ed.), Verbmobil: Foundations of speech-to-speech translation. New York: Springer. Consultado en http://verbmobil.dfki.de/ww.html

Verbmobil_Sistema.jpg

Wahlster, W. (2000). Mobile speech-to-speech translation of spontaneous dialogs: An overview of the final Verbmobil system. En W. Wahlster (Ed.), Verbmobil: Foundations of speech-to-speech translation. New York: Springer. Consultado en http://verbmobil.dfki.de/ww.html

Independiente del locutor.

Bidireccional.

Teléfono móvil GSM.

Más de 10.000 palabras.

75% de reconocimiento de palabras.

80% de traducciones correctas.

90% de éxito en tareas.

Generación de resúmenes de conversaciones.

Verbmobil_Arquitectura.jpg

DFKI. (2000). Verbmobil overview [Página web]. Saarbrücken: DFKI, Deutsches Forschungszentrum für Künstliche Intelligenz. Consultado en http://verbmobil.dfki.de/overview-us.html

DFKI. (2000). Verbmobil overview [Página web]. Saarbrücken: DFKI, Deutsches Forschungszentrum für Künstliche Intelligenz. Consultado en http://verbmobil.dfki.de/overview-us.html

Janus

interACT - International Center for Advanced Communication Technologies (Carnegie Mellon University, Universität Karlsruhe, The Hong Kong University of Science and Technology, Waseda University).

ISL_Logo.jpg

Dominios limitados: citas, reserva de hoteles, itinerarios de viajes.

Lenguas de entrada: inglés y alemán.

Lenguas de salida: inglés, alemán y japonés.

Janus_Pantalla.jpg

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

Janus, traductor portátil

interACT - International Center for Advanced Communication Technologies (Carnegie Mellon University, Universität Karlsruhe, The Hong Kong University of Science and Technology, Waseda University).

ISL_Logo.jpg

Información y ayuda para una persona que viaja por un país extranjero.

Traducción oral y escrita y acceso a bases de datos de información turística.

Independiente del locutor.

Dominio restringido.

Versiones portátil y móvil.

Janus_Mobil.jpg

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

Janus_Fix.jpg

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

Traducción de conversaciones en inglés y castellano.

Seguimiento de la conversación.

Traducción presentada en forma escrita.

Janus_Conversa.jpg

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

LingWear

interACT - International Center for Advanced Communication Technologies (Carnegie Mellon University, Universität Karlsruhe, The Hong Kong University of Science and Technology, Waseda University).

LingWear_Logo.jpg

Sistema móvil de traducción, información, ayuda y navegación.

Dominio: turismo en un país extranjero.

Lenguas: inglés, alemán y japonés.

Multimodal: habla, texto, escritura manuscrita, imagen y gesto.

LingWear_PC.jpg

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

Integración de LingWear en un ordenador portátil.

LingWear_Traduccio.jpg

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

(Fuente: Interactive Systems Lab, Carnegie Mellon University).

SRI International

SRI International. (2007). Speech translation research at SRI International [Página web]. Menlo Park, CA: SRI International. Consultado en http://www.speech.sri.com/projects/translation/

SRI_Nuance_Logo.jpg

Dominio restringido: información sobre vuelos.

Lenguas: del inglés al francés.

SRI_Demo.jpg

SRI International. (2007). Speech recognition videos. STAR, Speech Technology and Research Laboratory [Página web]. Menlo Park, CA: SRI International. Consultado en http://www.speech.sri.com/star-videos.html

Nespole! Negotiating through Spoken Language in E-Commerce

Istituto Trentino di Cultura - Centro per la Ricerca Scientifica e Tecnologica; Universität Karlsruhe; Carnegie Mellon University; Université Joseph Fourier; AETHRA S.r.l.; Azienda per la Promozione Turistica del Trentino.

Proyecto IST-1999-11562 (2000-2002).

Traducción automática del habla para centros de videoconferencia.

Lenguas: italiano con traducción al inglés, alemán y francés.

Dominio: turismo.

EuTrans, Example Based Undestanding and Translation Systems

PRHLT - Pattern Recognition and Human Language Technology, Universitat Politècnica de València; Chair of Computer Science VI (i6), RWTH Aachen University; Zeres; Fondazione Ugo Bordoni.

Proyecto ESPRIT 20268 (1996) - Proyecto ESPRIT 30268 (1997-2000).

Lenguas: del castellano o del italiano al inglés.

Dominio: centralita y recepción de hoteles.

Accesible por teléfono.

Eutrans_Demo.jpg

C-STAR, Consortium for Speech Translation Advanced Research

ATR - Advanced Telecomunication Research; CAS - Chinese Academy of Sciences; CLIPS - Communication Langagière et Interaction Personne-Système; ETRI - Electronics and Telecommunications Research Institute; IRST - Centro per la Ricerca Scientifica e Tecnologica; ISL - Interactive Systems Labs, Carnegie Mellon University & Karlsruhe University.

c-star.jpg

Sistema independiente del locutor.

Habla espontánea.

Dominio: sector turístico (planificación del viaje, información, reservas y negociación).

TC-STAR, Technology and Corpora for Speech-to-Speech Translation

TC-STAR. (2007). TC-STAR, Technology and Corpora for Speech to Speech Translation [Página web]. Consultado en http://tcstar.org

ITC-IRST - Center for Scientific and Technological Research; RWTH - Human Language Technology and Pattern Recognition, Lehrstuhl fuer Informatik VI, Aachen; LIMSI-CNRS, Spoken Language Processing Group; TALP, Departament de Teoria del Senyal i Comunicacions, Universitat Politècnica de Catalunya; IST - Interactive System Labs, Carnegie Mellon University & Karlsruhe University; IBM Mannheim; Speech and Audio Systems Laboratory, Nokia Research Center; Division of Corporate Technology, Siemens; Sony International (Europe), Stuttgart Technology Center; ELDA - Evaluations and Language resources Distribution Agency; SPEX / CLST, Department of Language and Speech Radboud University Nijmegen.

TC-STAR_logo.jpg

Proyecto IST-2002-2.3.1.6 Multimodal interfaces (2004-2006).

Traducción de habla espontánea en varios dominios.

“This off-line demo consists in a video showing about 30 minutes of an European Parliament Plenary Session (EPPS), English audio channel, recorded September 7th, 2005. This audio stream is part of the eval06es set, and has been automatically divided into segments. Only the segments that are part of the eval set have been processed, in other segments a message indicating the next transcribed segment is present. ASR and MT have been fully developed at ITC-IRST, version January 2007. The MT process splits each sentence into chunks, and translation is done chunk by chunk.

Aligned with the video there are two windows, showing respectively:

a) English ASR output, sentence by sentence.

b) Spanish MT output, sentence by sentence.

In both windows, the active chunk (synchronized with English audio) is highlighted in yellow. In the English window active chunks are strictly sequential, while in the Spanish one they are not.”

transLectures

transLectures. (2014). TransLectures, Transcription and Translation of Video Lectures [Página web]. EC FP7 ICT project 287755. Consultado en http://www.translectures.eu

EC FP7 ICT project 287755 (2011-2014)

Universitat Politècnica de València; Institut Jozef Stefan; Rheinisch-Westfaelische Technische Hochschule Aachen; Xerox S.A.S.; European Media Laboratory GMBH; Deluxe Digital Studios Ltd; Knowledge for All Foundation.

transLectures.jpg
Transcripción (subtitulado) y traducción automática de videos educativos en línea.

Transcripción en inglés, español y esloveno.

Traducción entre inglés y español e inglés y esloveno y traducción del inglés al francés y al alemán.

Pérez González de Martos, A. (06/12/2012). transLectures - Matterhorn integration [Archivo de video]. Consultado en http://www.youtube.com/watch?v=UtXE9f705yg

IraqComm™

SRI International. (2008). IraqComm™, Speech to Speech Translation System [Página web]. Menlo Park, CA: SRI International. Consultado en http://www.iraqcomm.com

IraqCommPack.gif

Sistema de traducción automática del habla bidireccional entre el inglés americano y el árabe coloquial iraquí.

Dominio: protección, seguridad, servicios municipales y servicios médicos básicos.

Converser for Healthcare

Spoken Translation Inc. (2014). Converser™ for Healthcare [Página web]. Berkeley, CA: Spoken Translation Inc. Consultado en http://www.spokentranslation.com/products/healthcare/

ConverserHealtcare.jpg

Traducción de conversaciones en inglés y en español entre médico y paciente.

Google Translate Conversation Mode

Google_Translate_iOS.jpg

Basado en la tecnología de traducción de Google en combinación con la tecnología de reconocimiento automático del habla de Google y con el sistema de conversión de texto en habla desarrollado por Phonetic Arts y adquirido por Google.

Disponible en inglés y en español.

GoogleTranslate.jpg

Sistema de traducción automática del habla de Google.

Verma, A. (January 12, 2011). A new look for Google Translate for Android. Google Translate blog. Consultado en http://googletranslate.blogspot.com.es/2011/01/new-look-for-google-translate-for.html

Sistema de traduccción automática del habla de Google.

Dixon, A. (12/01/2011). Google Translate "Conversation Mode" in action [Archivo de video]. Consultado en http://www.youtube.com/watch?v=MXpPhTM3a6c

VoiceTra4U

U-STAR. (2013). VoiceTra4U. Speech translation app. U-STAR, Universal Speech Translation Advanced Research Consortium [Página web]. USTAR, Universal Speech Translation Advanced Research Consortium. Consultado en http://www.ustar-consortium.com/app/app.html

VoiceTra4U.jpg

Traducción automática del habla en modo individual o en conversaciones en modo chat.

Disponible en 30 lenguas, aunque no todas las modalidades de entrada y salida (texto o habla) funcionan para todas las lenguas.

U-STAR. (2013). VoiceTra4U. Speech translation app. U-STAR, Universal Speech Translation Advanced Research Consortium [Página web]. USTAR, Universal Speech Translation Advanced Research Consortium. Consultado en http://www.ustar-consortium.com/app/app.html

U-STAR. (2013). VoiceTra4U. Speech translation app. U-STAR, Universal Speech Translation Advanced Research Consortium [Página web]. USTAR, Universal Speech Translation Advanced Research Consortium. Consultado en http://www.ustar-consortium.com/app/app.html

iSpeech

iSpeech. (2014). iSpeech Translator™ [Página web]. Newark, NJ: iSpeech, Inc. Consultado en http://www.ispeech.org/apps/translator

iSpeech_Logo.jpg

Traducción automática partir de texto o de habla.

Disponible para iOS, Android y Blackberry.

Reconocimiento automático del habla y traducción en 7 lenguas.

Conversión de texto en habla en 18 lenguas.

iSpeech.jpg

(Fuente: https://itunes.apple.com/us/app/ispeech-translator/id453800720).

Artificial Solutions

Artificial Solutions. (2013). Indigo - Personal Assistant App [Página web]. Barcelona: Artificial Solutions Iberia S.L. Consultado en http://www.hello-indigo.com

Asistente personal para teléfonos inteligentes, tabletas y ordenadores de sobremesa que incorpora traducción automática del habla.

Disponible en versiones para iOS, Android y Windows.

Asistente personal Indigo de Artificial Solutions.

Hello Indigo. (25/11/2013). Indigo: A personal assistant that helps you translate! [Archivo de video]. Barcelona: Artificial Solutions Iberia S.L.. Consultado en http://www.youtube.com/watch?v=atq5HbLL4ek

arrow_up_gray

La traducción automática entre otras modalidades

Traducción de lengua oral a movimientos labiales

Teleface

KTH. (2002). The Teleface project [Página web]. Stockholm: Department of Speech, Music and Hearing, KTH. Consultado en http://www.speech.kth.se/teleface/

Reconocimiento automático del habla y generación de movimientos labiales a partir del reconocimiento.

Teleface, sistema de ayuda a personas con discapacidad auditiva.

KTH. (2002). The teleface project [Página web]. Stockholm: Department of Speech, Music and Hearing, KTH. Consultado en http://www.speech.kth.se/teleface/

Traducción de lengua oral a lengua de signos

Reconocimiento del habla o de la imagen.
Traducción de/a lengua de signos.
Conversión de texto en habla o de texto a signos.

DePaul University American Sign Language Project

The DePaul University American Sign Language Project. (n.d.). [Web page]. Chicago, IL: Telecommunications and Information Systems, School of Computer Science, DePaul University. Retrieved from http://asl.cs.depaul.edu

Traducción del inglés a la lengua de signos americana (ASL).

Generación de animaciones.

Nice to meet you.

The DePaul University American Sign Language Project. (n.d.). [Web page]. Chicago, IL: Telecommunications and Information Systems, School of Computer Science, DePaul University. Retrieved from http://asl.cs.depaul.edu

Tessa, TExt and Sign Support Assistant

VISICAST. Independent Television Commission; Institut für Rundfunktechnik GmbH; Televirtual; Royal National Institute for Deaf People; University of Hamburg, Institute of German Sign Language and Communication of the Deaf; University of East Anglia, School of Information Systems; Institut National des Télécommunications, ARTEMIS; Institut voor Doven; Post Office.

Traducción de inglés oral a lengua de signos británica.

Asistente para las transacciones habituales de una oficina de correos.

Tessa_Esquema.jpg

ViSiCAST. (s.d.). ViSiCAST demo. ViSiCAST [Página web]. Consultado en http://www.visicast.co.uk/demo/demo.htm

eSIGN, Essential Sign Language Information on Government Networks

eSIGN, Essential Sign Language Information on Government Networks. University of Hamburg, Institute of German Sign Language and Communication of the Deaf; EDS Business Solutions GmbH; Norfolk County Council; Viataal; University of East Anglia, School of Computing Sciences; Televirtual; Royal National Institute for Deaf People.

Introducción de vídeos en lengua de signos en páginas web institucionales.

Basado en léxicos de signos y en avatares que cumplen la función de "hablantes virtuales" de lengua de señas.

Los signos se capturan a partir de un hablante o se generan a partir de instrucciones.

eSIGN. (s.d.). eSIGN Demo. eSIGN, Essential Sign Language Information on Government Networks [Página web]. Consultado en http://www.sign-lang.uni-hamburg.de/esign/demo.html

SiSi, Say it, Sign it

SiSi. IBM; University of East Anglia, School of Computing Sciences; Royal National Institute for the Deaf.

Conversión automática de lengua oral a lengua de signos británica.

Un avatar produce en lengua de signos, en tiempo real, los enunciados hablados.

Tomasco, S. (2007). IBM Voice-to-Sign Language translation tech [Página web]. Consultado en http://www.youtube.com/watch?v=RarMKnjqzZU

Traducción de habla a lengua de signos española

Desarrollo de un sistema de traducción de voz a lengua de signos española para un servicio público de atención personal. (2011). [Página web]. Madrid: Grupo de Tecnología del Habla, Universidad Politécnica de Madrid - Fundación CNSE. Consultado en http://www.traduccionvozlse.es

Traducción de habla a lengua de signos española.

Desarrollo de un sistema de traducción de voz a lengua de signos española para un servicio público de atención personal. (2011). [Página web]. Madrid: Grupo de Tecnología del Habla, Universidad Politécnica de Madrid - Fundación CNSE. Consultado en http://www.traduccionvozlse.es

iCommunicator

iCommunicator. (s.d.). [Página web]. Brooklyn, NY: PPR Inc. Consultado en http://icommunicator.com

Reconocimiento del habla.

Conversión de texto en habla.

Traducción de lengua oral a lengua de signos.

iCommunicator. (s.d.). [Página web]. Brooklyn, NY: PPR Inc. Consultado en http://icommunicator.com

arrow_up_gray

La traducción automática del habla


La traducción automática del habla
Joaquim Llisterri, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona
http://liceu.uab.cat/~joaquim/speech_technology/tecnol_parla/dialogue/speech_translation/traduccion_oral.html
Last updated: 27/3/14 11:43

Creative Commons License
This work is licensed under a Creative Commons Attribution-Noncommercial-Share Alike 3.0 License.