opentrad - Departamento de Ingeniería Telemática

OPENTRAD
Ainhoa Bengoetxea Iriondo
Universidad Carlos III de Madrid
Inteligencia en Redes de Comunicaciones
[email protected]
Resumen
En este trabajo se describe el traductor automático Opentrad,
primer traductor entre el castellano y todas las lenguas oficiales
del estado español (catalán, gallego y euskera) de código abierto y
gratuito. Este proyecto ha sido realizado por cuatro universidades
(Universitat d’Alacant, Euskal Herriko Unibertsitatea,
Universidade de Vigo y Universitat Politécnica de Catalunya) y
las empresas Eleka Ingenieritza Liguistikoa S. L., Elhuyar
Fundazioa e Imaxin Software.
Keywords
Traducción Automática (TA), RBMT, EBMT, SMT, compilación,
corpus/corpora, token, tokenización, chunk (una parte de una
oración), POS tagger, formas superficiales, HMM, DTD, FST
(Finite State Transducen/transductor de estados finitos), EDBL,
XML,...
1. Introducción
Este trabajo es un breve estudio de una aplicación concreta de la
traducción automática, uno de los campos más interesantes de la
Ingeniería Lingüística. Se trata de la descripción del
funcionamiento del traductor automático Opentrad, el primero
capaz de hacer traducciones entre el castellano y el resto de
lenguas oficiales del estado español.
El Estado Español es plurilingüe por lo que coexisten distintas
lenguas. Esto implica el hecho de que a los cuidadanos/as de
distintas comunidades se nos reconocen ciertos derechos
lingüísticos. A nivel gubernamental, estos derechos tienen que ser
respetados y se debe promover la utilización de las lenguas
minoritarias. Para ello, un traductor desde el castellano a las
demás lenguas oficiales es un herramienta muy interesante. Por
otro lado, las personas demandan cada vez más información en
distintas lenguas lo cual hace que este traductor sea útil, tanto
para la ciudadanía en general como para el mundo empresarial
para producir información en distintas lenguas. Cabe destacar la
gran apuesta de los desarrolladores hacia la filosofía del código
abierto, haciendo posible que cualquiera pueda usarlo y adaptarlo
a sus propias necesidades.
Opentrad es un proyecto de gran escala en el cual formaron parte
cuatro universidades estatales (Universitat d’Alacant, Euskal
Herriko Unibertsitatea, Universidade de Vigo, Universitat
Politécnica de Catalunya) y pequeñas empresas (Eleka
Ingenieritza Liguistikoa S. L. , Elhuyar Fundazioa e Imaxin
Software). Opentrad está formado por dos motores
independientes, uno para las lenguas románicas y otro para las no
románicas (euskara). En el caso de las lenguas románicas la
traducción es bidireccional, (ga↔es, ca↔es) y en el del euskera
unidireccional (esÆ eu).
Antes de analizar a fondo el traductor en sí, se hará un
acercamiento al mundo de la traducción automática, un pequeño
estado del arte y una breve descripción de las características del
euskara ya que en el estudio se ha hecho especial hincapié en la
esta parte.
Este documento está organizado de la siguiente manera. Para
empezar, se hará una introducción a la traducción automática en
el apartado 2. A continuación, en el apartado 3, se dará una breve
descripción del euskera. Luego, se hablará de trabajos previos
relacionados con la traducción automática en estos idiomas.
Después, se estudiará en profundidad el traductor Opentrad en el
apartado 5. Finalmente, se incluirá algunas conclusiones y notas
sobre el futuro del proyecto.
2. Traducción automática
Existen diferentes estrategias para llevar a cabo una traducción
automática. Estas estrategias se agrupan en dos ramas principales:
las que se basan en reglas lingüísticas (RBMT, Rule Based
Machine Translation) y las que se basan en corpus (Corpus Based
Machine Translation). Dentro de estas últimas se diferencian dos
acercamientos muy distintos que son: los basados en estadísticos
(Statistical Machine Translation, SMT) y los basados en ejemplos
(Example Based Machine Translation, EBMT). Entre las
estrategias que utilizan corpus, las dominantes son aquellas que se
basan en las estadísticas. A continuación, una breve descripción
de todas ellas.
2.1 RBMT
Dentro de los traductores por reglas se distinguen dos tipos, los
directos y los indirectos. Se denominan métodos indirectos
aquellos que utilizan una representación intermedia. Los directos,
por tanto, son los que no utilizan representaciones intermedias y
la traducción la hacen en un solo paso: se consultan las palabras
en el idioma origen y se crean las correspondencias en la lengua
destino aplicando solamente algunas reglas de flexión,
concordancia y reordenación. Es decir, se trata de una traducción
palabra por palabra aplicando algunas reglas. Puesto que se trata
de una técnica demasiado sencilla, no se utiliza porque se
considera inviable incluso en pares de lenguas emparentadas.
Entre los métodos indirectos se distinguen dos tipos, el de
interlingua y el de transferencia.
El método interlingua utiliza una única representación intermedia,
común a las lenguas origen y destino, permitiendo así que la
traducción se haga en dos fases: análisis y generación. La
información semántica suele estar almacenada en una base de
conocimientos accesible durante el proceso de la traducción.
El método de transferencia, por otro lado, plantea la traducción
mediante dos representaciones intermedias, una por cada lengua
(origen y destino). En este caso, la traducción se realiza en tres
fases: análisis, transferencia y generación. El nivel de la
transferencia varía en función del sistema utilizado. La
transferencia puede hacerse a nivel léxico, sintáctico o semántico.
La transferencia léxica realiza la búsqueda del término
equivalente en la lengua destino en base a la información que
contiene el diccionario. La transferencia sintáctica trasforma el
árbol del análisis de la oración en un árbol de generación
equivalente para la oración en lengua destino. Por último, la
transferencia semántica trasforma representaciones profundas
tales como patrones de casos, redes semánticas o estructuras
lógicas.
2.2 SMT
Mediante estas estrategias, las traducciones se generan en base a
teorías estadísticas y modelos de Teoría de la Información de
Shannon, cuyos parámetros vienen del análisis de corpora de
textos bilingües. Las primeras ideas de la traducción automática
estadística fueron introducidas por Warren Weaver en 1949
incluyendo ideas de aplicación de la Teoría de Información de
Shannon. Es por mucho el paradigma de traducción automática
más utilizado. Los beneficios más destacables de la traducción
automática estadística frente a la RBMT son:
-Un uso mejor de los recursos.
-El hecho de que normalmente los sistemas SMT no estén
unidos a ningún par de lenguas específico.
-Los RBMT requieren que las reglas lingüísticas se
desarrollen manualmente, lo cual puede ser costoso y a veces
imposibilita la aplicación en otras lenguas.
-Los SMT pueden sacar provecho de la abundante cantidad
de información en lenguaje natural en formatos legibles para los
ordenadores.
-Se obtienen traducciones más naturales.
2.3 EBMT
Las técnicas EBMT hacen uso de un corpus o base de datos de
traducciones anteriores. La entrada se compara con la base de
datos para quedarnos con los ejemplos adecuados.
Posteriormente, se unen por analogía para elegir la traducción
correcta. Esta estrategia se relaciona a menudo con las Memorias
de Traducción (Translation Memory, TM). Aunque la idea de
ambas se basa en reutilizar traducciones anteriores, las TMs son
una herramienta interactiva para el traductor humano.*
Uno de los mayores problemas a los que se enfrenta la traducción
automática es la desambiguación semántica.
3. Descripción euskera
En este apartado se hará un pequeño acercamiento al euskara,
describiendo brevemente sus características más importantes.
3.1 Introducción euskera
El euskara es una lengua Pre-Indo-Europea minoritaria que se
habla en la CAV, Navarra y País Vasco-Francés (Lapurdi, Baja
Navarra y Zuberoa). Aunque hay muchas teorías al respecto, su
origen se desconoce y se parece muy poco a las lenguas europeas
que la rodean. Aunque el euskera se centra en un territorio muy
limitado muestra variedad de registros llamados “Euskalkiak”
tales como Gipuzkera, Nafar-Lapurtera y Bizkaiera.
Por ello, desde el 1968 la Academia Vasca de la Lengua
(Euskaltzaindia) está llevando a cabo el proceso de
estandarización hacia lo que se denomina el Euskara Batua
(“Euskara Unido”) definiendo sus normas a todos los niveles. Este
*En la actualidad, en el caso del euskera, más de 10 instituciones oficiales
y compañías privadas utilizan memorias de traducción.
es el registro que debe utilizarse en los medios de comunicación,
administración, enseñanza y demás ámbitos.
3.2 Características principales
-La estructura de las frases no es fija, es decir, hay muchas
posibilidades de ordenar una misma frase.
-Es una lengua aglutinativa: el determinante, el número y el caso
de declinación se añaden a la última palabra de la frase y siempre
en ese orden. Esta información, será válida para todos los
elementos de la frase. Puesto que es aglutinativa, no hay una
división clara entre morfología y sintaxis. Como consecuencia,
los morfemas pueden ser utilizados como la unidad básica de
análisis en vez de las palabras.
-Tiene una sola tabla de declinación que contiene 15 casos que se
aplican independientemente del tipo de palabra precedente.
-Las funciones preposicionales se marcan con sufijos de caso
dentro de las palabras.
-Se trata de un idioma altamente flexivo en cuanto a morfología
por lo que es muy rico en derivación y composición.
-Hay concordancia en género y número tanto entre el verbo y el
sujeto como entre el objeto directo e indirecto.
-Los verbos están formados frecuentemente por más de una
palabra (por el uso de perífrasis verbales y por la inflexión) y
debido a que la palabras compuestas son muy comunes, la
longitud de las oraciones en euskera es más larga de lo que cabría
esperar.
-La dificultad de traducir del castellano o inglés al euskera reside
mayoritariamente en el hecho de que la estructura de las oraciones
y el orden son muy diferentes.
4. Trabajos relacionados
La traducción automática es un campo que se está desarrollando
mucho. Puesto que vivimos en la sociedad de la información y la
información esta en muchos idiomas distintos, este hecho
convierte un traductor automático en una herramienta muy útil en
general. En este trabajo se ha considerado importante mirar hacia
atrás y ver cual era la el punto de partida del proyecto para poder
evaluar sus aportaciones. Para ello, se hará una pequeña
introducción a trabajos anteriores.
El motor de traducción automática para lenguas no emparentadas
de Opentrad, es el primer prototipo de traducción entre euskera y
castellano. Sin embargo, hay abundante trabajo anterior a la
realización de este motor. El grupo IXA1 cuenta con una larga
trayectoria dedicándose a la Ingeniería Lingüística estudiando las
posibilidades del euskera. A continuación, se comentarán algunos
de sus trabajos más destacables.
“Adibideetan Oinarritutako Itzulpen Automatikoa (AOIA):
azterketa bibliografikoa eta euskararekin lan egiteko
proposamenak” [1].
Se trata de un estudio de la traducción automática basada en
ejemplos para el euskera. Trata, entre otros, los problemas y
ventajas de los EBMT, la hibridación de EBMT y RBMT y un
ejemplo de implementación de EBMTs llamado PanEBMT.
Incluye propuestas de trabajo de este tipo de traducción
automática tales como la trasferencia basada en ejemplos, EBMT
para el tratamiento de casos especiales y la creación de un sistema
completo EBMT.
1
http://ixa.si.ehu.es/Ixa
“Example-Based Machine Translation of the Basque Language”
[2].
A continuación, se muestran algunos trabajos anteriores sobre
traductores de lenguas románicas.
Hace una pequeña introducción al euskera aportando datos y
características principales. Aborda muchos temas: el sistema
MaTrEx (Machine Translation Using Examples), estrategias de
chunking, estrategias de alineación (a nivel de palabra y de
chunk), cómo hacer correspondencias entre chunks en euskera e
inglés y finalmente un experimento para ver los resultados que da
un EBMT en euskera. Los resultados demostraron que el empleo
de los EBMT chunks contribuyen positivamente a la calidad de la
traducción global, posibilitando así que el sistema MaTrEx aborde
sistemas sin preproceso (baseline) SMT basados en palabras y
chunks. También se concluyó que la precisión de las alineaciones
a nivel de chunk era muy alta, por lo menos en el caso de los
chunks muy frecuentes.
“An open-source shallow-transfer machine translation toolbox:
consequences of its release and availability” [5].
“Reusability of wide coverage linguistic resources in the
construction of a multilingual Machine Translation System”[3].
Este artículo presenta el primer prototipo de traducción
automática multilingüe basada en la trasferencia para los pares
inglés-euskera y español-euskera con la posibilidad de
reutilización y adaptación de herramientas y recursos. El sistema
traduce sintagmas nominales y sintagmas preposicionales e
interactúa directamente con el usuario para resolver
ambigüedades. Este sistema no es capaz de traducir oraciones
completas todavía. Incluye descripción del euskera, arquitectura
del sistema, información sobre bases de datos lingüísticos
(diccionario de lenguas origen, EDBL –base de datos léxica de
euskera-, léxicos bilingües-español/euskera, inglés/euskera),
reglas gramaticales, información detallada sobre las fases de la
traducción (análisis del inglés o español, transferencia al euskera
y el modúlo de generación en euskera). El proceso de traducción
es el mismo que se utiliza en Matxin pero más limitado, pudiendo
considerar este último como la continuación y mejora de este
primer prototipo. Los resultados fueron muy positivos, el sistema
tiene una precisión del 83% traduciendo SNs (Sintagma Nominal)
y SPs (Sintagma Preposicional) del inglés al euskera. La
arquitectura modular del prototipo facilita la inclusión de nuevos
módulos para mejorar el funcionamiento. Con este prototipo pudo
comprobarse la capacidad de reutilización y la calidad de los
recursos y herramientas previamente desarrolladas. En este punto,
se consideraba como objetivo la ampliación del sistema para
traducir oraciones completas. Para ello, se subrayaba la necesidad
del análisis de terminos multipalabra y resolución de
ambigüedades, entre otros.
“Uso de información morfológica en el alineamiento españoleuskera” [4].
Se presenta un estudio para el alineamiento de un corpus españoleuskera haciendo uso un alineador token-a-token teniendo en
cuenta las opciones de preprocesamiento morfológico para un
alineamiento óptimo. Se analiza en profundidad el
preprocesamiento del euskera (tokenización, lematización,
segmentación) y el español (tokenización, lematización,
segmentación). Se presenta también, un marco experimental para
evaluar la mejor técnica de preproceso mediante el software de
libre distribución GIZA++ , el más utilizado para alinear corpus
paralelos, y un análisis de los resultados.
2
www.internostrum.com/
Este artículo es anterior al lanzamiento de Opentrad, incluye
información sobre el motor de lengua románicas, la arquitectura
del motor, los formatos de los datos lingüísticos, compiladores y
los pares de lenguas que pueden resultar beneficiados por esta
herramienta.
“Open-source Portuguese-Spanish Machine Translation” [6].
Este artículo describe el estado del traductor automático de
trasferencia poco profunda OpenTrad para el par de lenguas
español-portugués. Describe la arquitectura de Apertium, los
formatos de los datos lingüísticos, compiladores e información
concreta sobre estos pares de lenguas como una pequeña
evaluación final.
“El sistema de traducción automática castellano ↔ catalán
InterNOSTRUM” [7].
Este artículo trata del sistema InterNOSTRUM2, uno de los que
ha servido de base para el motor de lenguas románicas (Apertium)
en el proyecto Opentrad. Este artículo se escribió cuando
InterNOSTRUM estaba aún e fase de desarrollo por ello incluye
el prototipo del momento y posibles versiones futuras, datos sobre
la plataforma que emplea, la estrategia de traducción y los
módulos que lo forman. Este sistema se desarrolló por el Grupo
Transducens, hace traducción bidireccional entre el castellano y el
catalán y es de uso gratuito vía Internet. Utiliza trasductores de
estados finitos.
“FreeLing: An Open-Source Suite of Language Analyzers” [8].
Este trabajo introduce Freeling, un analizador de lenguaje de
código abierto desarrollado por la el GPLN (Grupo de
Procesamiento del Lenguaje Natural) de la Universitat Politècnica
de Catalunya. La versión del momento incluía analizador
morfológico y POS tagger (etiquetador morfológico) para el
castellano, inglés y catalán. El estudio analiza las catacterísticas
principales como la arquitectura, las clases de datos lingüísticos y
clases de procesamiento. En una versión posterior se han añadido
también el gallego y el italiano y las funcionalidades de
reconocimiento de fechas, números y moneda y segmentación del
texto en palabras, entre otros.
5. Análisis Opentrad
Opentrad es el primer traductor entre el castellano y todas las
lenguas oficiales del estado español (catalán, gallego y euskera).
Este proyecto ha sido realizado por cuatro universidades, y tres
empresas pequeñas durante un período de año y medio. Las
universidades participantes son la Universitat d’Alacant (Grupo
Transducens, Departament de Llenguatges i Sistemes
Informàtics), Euskal Herriko Unibertsitatea (IXA Taldea,
Informatika Fakultatea), Universidade de Vigo (Seminario de
Lingüística Informatica) y Universitat Politécnica de Catalunya
(TALP) y las empresas Eleka Ingenieritza Liguistikoa S. L. ,
Elhuyar Fundazioa e Imaxin Software. Se presentó en Barcelona
el 30 de Mayo de 2006 y está disponible en Internet desde abril3.
Está subvencionado por el Ministerio de Industria, Comercio y
Turismo y cabe destacar que es la primera vez que el Gobierno
Español subvenciona un proyecto de este tipo.
El traductor es bidireccional excepto en el caso del euskara que
solo traduce desde el castellano al euskara. Traduce texto,
documentos (en los formatos RTF, HTML y texto plano) e
incluso páginas durante la navegación sin añadir retardo alguno
debido a su rapidez. Es de código abierto por lo que el código está
disponible en Internet para todo aquel que quiera adaptarlo a sus
propias necesidades, incluso para pares de lenguas distintas.
En el área de la traducción, la distancia entre las lenguas es un
factor muy importante. El catalán y el gallego por ser lenguas
románicas, la distancia de cada una de ellas con el castellano es
pequeña y se dice que son lenguas emparentadas (para con el
castellano). El euskera, sin embargo, es una lengua no románica y
por tanto no emparentada. Esto influye directamente en la forma
de hacer la traducción en el sentido de que para las lenguas
emparentadas, no es necesario hacer un análisis muy profundo
para que la traducción sea buena (la transferencia sintáctica
parcial da muy buenos resultados) pero sí en el caso del euskera
en la cual hay que hacer trasferencia sintáctica completa. Esto
implica que el grado de dificultad en este caso es notablemente
mayor. Por ello, Opentrad trabaja con dos motores distintos, uno
para lenguas emparentadas4 (Apertium) y otro para lenguas no
emparentadas5 (Matxin).
Hay que resaltar que el punto de partida era muy distinto para los
dos casos ya que existían traductores al gallego y catalán
(interNOSTRUM, Traductor Universia) pero en el caso del
euskera no existían tales traductores pero sí alguno capaz de
traducir un SN o SP. Por consiguiente, los objetivos tampoco eran
iguales, para el gallego y catalán se trataba de obtener un
traductor comercial y para el euskera realizar el primer prototipo
de traducción automática, inexistente hasta la fecha.
Una de las novedades tecnológicas del proyecto es, por tanto, la
creación de sistemas de traducción para el par castellano-euskera.
Por otro lado estan la apertura y estandarización de código y datos
lingüísticos para las lenguas oficiales del estado español para
conseguir interoperabilidad, modularidad e integrabilidad en los
procesos de creación de contenidos en estos idiomas. Otra
novedad es que el traductor es de uso gratuito vía web.
Los resultados han sido satisfactorios para ambos casos. El factor
de error es del 95% para el caso del gallego y el catalán, lo que
significa que de cada 100 palabras traducidas, 95 eran correctas y
solo 5 incorrectas. Se considera que para poder usar el traductor
de forma comercial*, el factor de error tiene que ser mayor o igual
que 90%. En el caso del euskera, el porcentaje es menor, 75%,
pero teniendo en cuenta el objetivo, el resultado es bueno. Por
otro lado, el motor de lenguas emparentadas es muy rápido
gracias al uso de transductores de estados finitos (FST). De hecho,
es más rápido que la navegación web, permitiendo así poder
traducir páginas web sin añadir retardo alguno. OpenTrad tuvo un
gran eco mediático y prueba de ello son los videos disponibles en
el blog del proyecto5 de las distintas televisiones (ETB, TV3,
TVE) y radios (Euskadi Irratia). Los desarrolladores de la parte
del euskera de la aplicación se han puesto en contacto con el
Gobierno Vasco para poder mejorar el traductor hasta llegar al
umbral del 90%. Además, en un futuro, planean añadir la
traducción euskera-castellano e inglés-euskera.
5.1 Apertium
Apertium es el motor de traducción automática para la traducción
de las lenguas relacionadas ([9]). Para desarrollar este motor, se
basaron en otros desarrollados por el grupo Transducens de la
Universidad de Alacant como interNOSTRUM (castellanocatalán) y Traductor Universia (castellano-portugués). Sin
embargo, cabe destacar que la envergadura de este proyecto ha
sido mayor ya que los resultados pueden ser utilizados para
aplicarlos a otros pares de lenguas.
Los programas de traducción automática anteriores a Opentrad
para los pares español-catalán y español-gallego son comerciales
o utilizan tecnologías de propiedad. Esto dificulta enormemente
su adaptación a usos nuevos y la utilización de tecnologías
diferentes pare lenguas diferentes prácticamente imposibilita la
tarea de integrarlos en un mismo traductor multilingüe. Las
características del empleo del código abierto para el Opentrad y el
hecho de que sea gratuito intentan solucionar o al menos aliviar
estos problemas. Seguramente, habrá también un cambio de
modelo respecto al anterior, desde el modelo empresarial basado
en licencias hacia un modelo basado en el servicio que favorecerá
el intercambio de datos lingüísticos mediante el empleo de
formatos basados en XML.
La arquitectura de traductor (MT) emplea transductors de estados
finitos para el procesado léxico, modelos Markovianos ocultos
(HMM, Hidden, Marcovian Models) para el POS tagging
(etiquetado morfológico) y chunking (segmentación) basado en
estados finitos para la trasferencia estructural. Está basada en
interNOSTRUM.
5.1.1 La arquitectura del TA
El motor es un sistema trasformador clásico que consta de 8
módulos, suficientes para obtener una traducción de calidad entre
lenguas emparentadas. Estos módulos se comunican entre sí
mediante streams. Orientativamente podríamos decir que una
traducción palabra a palabra consigue una traducción buena en el
75% de los casos y añadiendo desambiguación homógrafa,
gestión de unidades multipalabra contiguas, reordenación local y
reglas de concordancia el porcentaje aumenta hasta más del 90%.
Esta es la aproximación utilizada.
A continuación, se detallarán los módulos de uno en uno.
5.1.1.1 El de-formateador (de-formatter)
Separa el texto de la información de formato encapsulando la
información de formato. Esta será considerada como espacio en
blanco por el resto de los módulos.
3
*El Periódico de Cataluña es un buen ejemplo del uso que se le puede dar
a un traductor. Este periódico se edita tanto en castellano como en
catalán. Para ello no utilizan el doble de personal sino que lo escriben en
castellano, se traduce con un traductor automático, se revisan los fallos y
se publica.
www.opentrad.org
4
http://apertium.sourceforge.net
5
http://matxin.sourceforge.net/
6
www.blogari.net/opentrad (en euskera)
7
http://traductor.universia.net/informacion/traductor.jsp
longitud fija que necesitan un procesamiento especial debido a
divergencias entre los dos idiomas (reordenación de palabras,
cambios léxicos como cambios en preposiciones, cambios en
género y número) para garantizar la concordancia en el idioma
destino. Este módulo se compila con un fichero de reglas de
transferencia.
5.1.1.6 El generador morfológico
Devuelve una forma superficial en el idioma destino por cada
forma léxica del idioma destino. El módulo lee un fichero binario
compilado con un diccionario morfológico del idioma destino.
Figura 1: Módulos del motor de lenguas emparentadas
5.1.1.2 Analizador morfológico
Primero, separa el texto en formas superficiales (surface forms,
unidades léxicas tal y como aparecen en el texto). Esta separación
(también llamada tokenización) no es inmediata por la existencia
de contracciones y unidades léxicas multipalabra. Después, para
cada una de estas unidades, se añade información léxica como el
lema, categoría léxica e información de inflexión morfológica.
Para las contracciones, el sistema lee una sola forma superficial y
devuelve la correspondiente secuencia de formas léxicas. Los
módulos leen en un fichero binario compilado por un diccionario
de la lengua origen.
5.1.1.3 Etiquetador morfológico (POS tagger)
Algunas formas superficiales son homógrafas y el analizador
morfológico devuelve varias formas léxicas de una sola forma
superficial. Este módulo se encarga de elegir una, analizando las
formas léxicas vecinas. En las traducciones de lenguas
emparentadas, la ambigüedad de las formas léxicas es una de las
mayores fuentes de errores.
Este módulo lee un fichero que contiene un HMM que ha sido
previamente entrenado con textos representativos del idioma
origen. Hay dos tipos de entrenamiento: un texto largo sin
etiquetar procesado por el analizador morfológico o un texto corto
etiquetado donde la elección entre las homógrafas se hace
manualmente. Este último suele dar un resultado ligeramente
mejor. El comportamiento de este módulo y el programa de
entrenamiento están controlados por un fichero de definición de
etiquetado.
5.1.1.4 Módulo de transferencia léxica
Se llama desde el módulo de transferencia estructural. Lee cada
una de las formas léxicas del idioma origen y proporciona la
correspondiente forma léxica en el idioma destino. El módulo lee
un fichero binario compilado con un diccionario bilingüe. Este
diccionario contiene una única correspondencia por cada entrada
en el idioma origen, es decir, no se hace desambiguación
semántica. Para algunas palabras, existen entradas multipalabra
para intentar elegir la correcta en textos fijos frecuentes. Este
acercamiento, ha sido utilizado satisfactoriamente en el Traductor
Universia e InterNOSTRUM.
5.1.1.7 El post-generador
Hace operaciones ortográficas tales como contracciones y
apostrofaciones. El módulo lee un fichero binario compilado con
un fichero de reglas expresado como un diccionario. Este módulo
normalmente esta dormido (solamente copia la entrada a la salida)
hasta que un símbolo de alarma especial en alguna forma
superficial del idioma destino le despierta para hacer alguna
trasformación. Después, vuelve a dormir.
5.1.1.8 El re-formateador (the re-formatter)
Recupera la información de formato encapsulada eliminando las
secuencias de encapsulación utilizadas.
5.1.2 Compiladores
Los compiladores son los responsables de convertir los datos
lingüísticos a las formas utilizadas por los módulos del motor.
Actualmente, están todavía en fase de desarrollo. En este proyecto
se emplean dos: uno para los cuatro módulos de procesamiento
léxico y otro para la transferencia estructural.
5.1.2.1 Procesamiento léxico
Los cuatro módulos que forman el procesamiento léxico se
implementan como un único programa que leen ficheros binarios
que contienen una representación eficiente de una clase de
transductores de estados finitos que se denomina “augmented
letter trasducen”. Estos ficheros binarios son una versión
mejorada de los utilizados en interNOSTRUM y Traductor
Universia y se generan mediante diccionarios XML empleando un
compilador nuevo. Este nuevo compilador es mucho más rápido y
necesita menos recursos de memoria gracias a que el nuevo
transductor crea estrategias y a la minimización de trasducens de
estados finitos parciales durante su elaboración. De esta manera,
los datos lingüísticos se desarrollan más fácilmente ya que el
cambio de regla o ítem léxico se actualiza en el sistema
prácticamente al instante.
5.1.2.2 Transferencia estructural
El formato de las reglas de transferencia estructural está en fase
de borrador. Cuando esté terminado, se construirá el compilador
para generar un módulo que mediante el uso de tecnología de
estados finitos detectará los patrones de las formas léxicas del
idioma origen que necesiten ser procesadas y contendrá código
para generar las formas léxicas correspondientes rápidamente.
5.1.1.5 Módulo de trasferencia estructural
5.2 Matxin
Utiliza ajuste de patrones (pattern-matching) de estados finitos
para detectar patrones de formas léxicas (partes o chunks) de
Se trata de un prototipo de traducción basado en reglas y
transferencias ([10]). Esta parte del proyecto Opentrad se basó en
trabajos anteriores realizados por el grupo IXA de la Facultad de
Informática de la Universidad del País Vasco, que se adaptaron e
integraron después a este proyecto.
Como se ha dicho anteriormente, el Opentrad tiene dos motores:
Apertium, un motor poco profundo de transferencia automática y
Matxin, un motor profundo de transferencia automática. Para
hacer Matxin, se pudieron utilizar partes de Apertium. Por ello,
uno de los objetivos era saber qué módulos del motor eran
reutilizables para hacer el motor de transferencia más profundo
correspondiente a las lenguas no emparentadas. Además, para su
desarrollo se reutilizaron también recursos y herramientas
previamente desarrolladas tales como EDBL, diccionarios
bilingües electrónicos, analizadores morfológicos (MORFEUS) y
gramática de sintaxis.
5.2.1 Arquitectura de la TA
Este motor es un sistema de trasferencia clásico que consta de 3
componentes principales: analizador de castellano, trasferencia
del castellano al euskera y generador de salida en euskera.
Aunque se basa en trabajos anteriores, tiene una nueva meta: la
interoperabilidad con otros recursos lingüísticos y la convergencia
con otros motores dentro del proyecto Opentrad.
Esta formado por 5 módulos principales: de-formateador,
analizador del español, modulo de trasferencia, generador y
reformateador.
5.2.1.1 De-formateador
Este módulo separa el texto a traducir de la información de
formato. Sin embargo, a diferencia del motor de las lenguas
románicas, esta información no se puede encapsular en el texto
porque puede haber grandes cambios de posición del texto. Por
ello, se crean dos ficheros uno con la información del formato y
otra con el texto fuente a traducir. En el primero se incluyen links
al texto fuente. Después de la fase de análisis, se añaden los
atributos ord (orden de palabras en el chunk y de los chunks en
las oraciones) y alloc (posición en el texto analizado) para unir el
fichero de formato al texto traducido.
5.2.1.2 Analizador de castellano
El analizador de español utilizado es un analizador disponible de
forma gratuita llamado Freeling. Es un analizador sintáctico poco
profundo que ha sido ampliado con un analizador de
dependencias. Este módulo une las dependencias entre los tokens
en el chunk y entre los chunks en la oración. La salida es un
documento basado en XML donde los elementos principales son
los chunks en las oraciones y las palabras en los chunks. El
resultado incluye información sobre tres elementos principales:
nodos o palabras, chunks o partes y oraciones.
5.2.1.3 El módulo de transferencia
Este módulo basa el proceso de trasferencia en tres elementos:
palabras o nodos, chunks o trozos y oraciones. Para empezar, se
efectúa la trasferencia léxica con la ayuda de un diccionario
bilingüe compilado con un transducer de estados finitos utilizando
el mismo formato y herramienta diseñada para las lenguas
románicas. Posteriormente, se aplica la trasferencia estructural a
nivel de oración. Puede haber trasferencia de información entre
chunks y alguno puede desaparecer. Finalmente, se lleva a cabo la
transferencia a nivel de chunk. Este proceso es bastante sencillo
en el caso de las cadenas nominales pero puede complicarse para
las verbales. Una gramática ha sido desarrollada para ello ([11]).
El transducer de estados finitos se obtiene de la herramienta de
estados finitos del proyecto Opentrad.
5.2.1.4 Generador
La salida del módulo de transferencia se pasa al modulo
generador. La generación se hace a dos niveles, primero
generación sintáctica y luego la morfológica. En la primera, se
decide el orden de las palabras en los chunks. La generación
morfológica decide después cuales son las formas superficiales
basándose en los lemas y la información morfológica. El
generador morfológico se basa en el transducer de estados finitos
desarrollado previamente por el grupo IXA ([12]) pero en un
formato estándar compatible con la herramienta correspondiente a
las lenguas románicas.
5.2.1.5 Re-formateador
Une el texto traducido y el fichero que contiene información de
formato y obtiene un texto formateado traducido. Puede haber
incosistencias en esta parte.
5.2.2 Formatos para una buena interacción
Se han diseñado especificaciones DTD (Document Type
Definitions) parecidas en los módulos de análisis, transferencia y
generador para garantizar la comunicación intermodular mediante
el uso de etiquetas XML. El objetivo principal es garantizar la
interoperabilidad intermodular para que distintos desarrolladores
puedan modificar o construir módulos. Se ha especificado
también el formato de la información de formato contenida en los
documentos a traducir.
5.2.2.1 El formato después del análisis
La salida del modulo de análisis tiene formato XML y contiene
información a nivel de oración, chunk y palabra. Las
dependencias entre distintos niveles se reflejan en la estructura de
forma jerárquica.
Los atributos alloc y ref se utilizan para recuperar el formato del
texto de entrada, mi es para la información morfológica y si para
la sintáctica. El atributo ord se emplea para ordenar los elementos
en la oración.
5.2.2.2 El formato después de la transferencia y la
generación
El DTD de la salida del análisis se emplea también para la salida
de la transferencia y la generación pero aparece el atributo
opcional ref para recordar la posición de la palabra en la oración
inicial. Después de la transferencia, aunque hay pequeños
cambios en la estructura, la mayoría de los cambios están
producidos por los valores de los atributos que corresponden al
Figura 2: Ejemplo de traducción de una oración.
lema y la información morfológica o sintáctica en euskera en vez
de la información correspondiente al castellano. El atributo ord
desaparece porque el orden se volverá a calcular. El atributo form
desaparece también porque aún no se ha hecho la generación
morfológica. Después de la generación, se vuelve a añadir la
información correspondiente al orden y forma gramatical (wordform) utilizando la misma estructura XML.
5.2.3 Formatos de los datos lingüísticos
Una buena documentación de código y ficheros auxiliares son
cruciales para el éxito de un software de código abierto. En el
caso de un sistema de TA, implica definir un formato sistemático
para cada fuente utilizada de datos lingüísticos. Los formatos
empleados por el proceso lingüístico han sido trasformados a
XML para obtener interoperabilidad, es decir, análisis sintáctico
más sencillo, transformación y mantenimiento. Los formatos
XML para cada tipo de datos lingüísticos están perfectamente
definidos en DTDs de XML.
El éxito de una traducción automática (TA) de código abierto
depende del grado de aceptación de estos documentos por parte
de otros grupos pero al mismo tiempo también del éxito del motor
en sí.
En el caso del motor de lenguas emparentadas, los formatos
utilizados son una versión modificada de los formatos que
emplean interNOSTRUM y Traductor Universia. Estos últimos,
utilizaban un formato basado en texto mientras que Opentrad hace
uso de un formato basado en XML.
Hay cuatro tipos de datos lingüísticos y se organizan en dos
niveles:
-Nivel léxico o morfológico. Se utilizan diccionarios
morfológicos y bilingües.
-Nivel estructural o sintáctico. Se están desarrollando dos
gramáticas, una para transferencia estructural y otra para
generación sintáctica.
5.2.3.1 Diccionarios (procesamiento léxico)
Por último, los diccionarios de post-generación se utilizan para
establecer correspondencias entre cadenas de entrada y salida
pudiendo necesitar que el post-generador haga transformaciones
ortográficas a las formas superficiales en el idioma destino.
En la TA del motor de lenguas no emparentadas se incluyen un
diccionario bilingüe español-euskera para la transformación
léxica y un diccionario morfológico en euskera para la generación
morfológica. Ambos en los formatos adecuados.
5.2.3.2 Trasferencia estructural
El formato propuesto para este tipo de transformación se lleva a
cabo en dos pasos que son el nivel de oración y el de chunk. El
proceso a nivel de oración es bastante sencillo. Transfiere
atributos de unos chunks a otros pudiendo desaparecer alguno. Sin
embargo, la trasferencia a nivel de chunk es más compleja cuando
se trabaja con cadenas verbales. Se ha escrito una gramática al
respecto con muy buenos resultados ([11]). Las reglas
gramaticales son declarativas y se utilizan expresiones regulares
que se compilan en FSTs. El formato, por el momento, es un
documento de texto con expresiones regulares pero otros
participantes pueden modificar las reglas o incluso hacer una
nueva gramática.
Se utilizan tres tipos de reglas:
-Reglas de identificación y marcado. Une el chunk con su tipo
añadiéndole el patrón correspondiente al idioma destino. Este
patrón contiene una serie de atributos generales que se incluyen
para ser sustituidos en pasos siguientes.
-Reglas de reemplazo de atributos. Mediante estas reglas se
reemplazan los atributos con sus formas correspondientes en
euskera.
-Reglas de limpieza. Estas reglas borran la información
innecesaria obteniendo así el resultado esperado.
Esta gramática se combina con el proceso de transferencia
estructural. En un futuro próximo, se espera que todos estos pasos
se controlen con una única gramática.
El formato de los diccionarios morfológicos monolingües y
bilingües se consideran una versión basada en XML de los
formatos previamente empleados en interNOSTRUM y Traductor
Universia. Los DTDs actuales y ejemplos de estos diccionarios
pueden encontrarse en http://www.torsimany.ua.es/eamt2005.
5.2.4 Evaluación de la traducción caÆ eu
Los diccionarios morfológicos establecen correspondencias entre
formas superficiales (surface forms) y formas léxicas (lexical
forms) y contienen lo siguiente: (a) una definición del alfabeto,
(b) una parte en la que se definen los símbolos gramáticos
utilizados para especificar las formas léxicas, tales como nombre,
verbo, plural, presente, etc. (c) una parte en la que se definen los
paradigmas (grupos reutilizables de correspondencias entre partes
de formas superficiales y partes de formas léxicas) y (d) una o
más partes de diccionario etiquetado que contienen listas de
correspondencias entre formas superficiales y formas léxicas para
formas léxicas enteras (incluyen unidades multipalabra
contiguas).
–Ellos ganan esta batalla, pero perderán la guerra.
Los diccionarios bilingües tiene una estructura similar y
establecen correspondencias entre formas léxicas del idioma
origen y formas léxicas del idioma destino, pero rara vez hacen
uso de paradigmas.
Un ciudadano vasco aparece ahogado con los pies atados en
aguas del Puerto de Barcelona.
Se evaluarán distintas características como frases simples, artículo
periodístico y gestión del análisis sintáctico ambiguo.
Ejemplos de traducción correcta de oraciones simples:
Beraiek bataila hau irabazten dute, baina gerra galduko dute.
–El traductor que estamos desarrollando.
Garatzen ari garen itzultzailea.
–Además ahora come manzanas y peras.
Gainera orain sagarrak eta udareak jaten ditu.
Ejemplo de traducción de un artículo periodístico:
SUCESO
Dos personas han aparecido muertas en aguas del Puerto de
Barcelona. Uno de ellos, al parecer un ciudadano vasco, tenía los
tobillos atados entre sí con una corbata.
GERTAERA
Euskal
hiritar
bat
<ahogado>
azaltzen
<Puerto_de_Barcelona> uretan lotutako oinekin.
da
Bi pertsonak hilak azaldu dira <Puerto_de_Barcelona> uretan.
Beraien bat, euskal hiritar bat, artean lotutako orkatilak hartzen
nituen gorbata batekin.
Las palabras que aparecen entre los símbolos <> no han sido
reconocidos por el traductor y no los traduce. Además, las
traducción de “los pies atados en aguas...” a “uretan lotutako
oinekin” es incorrecta y la frase no se entiende. Lo mismo ocurre
con “tenía”Æ “-k hartzen nituen”.
Por el momento, Matxin traduce las palabras con varios
significados al más frecuente, siendo esto una fuente considerable
de errores. Como ejemplo:
Hemos montado un tomate de narices.
Sudurren tomate bat igo dugu. (?)
Esta traducción es errónea y la frase en euskera carece totalmente
de sentido.
En el caso de análisis síntactico ambiguo, el analizador elige una
interpretación sin entender la oración y obviammente, esto
provoca errores. Por ejemplo, la preposición de puede traducirse
a: (a) –ko, (b) –tik, (c) –ren. Ejemplos:
Trae el pan de la tarde.
Arratsaldeko ogia dakar. √
Trae el pan de la panadería.
Okintzako ogia dakar. ?
Trae el pan de su madre.
Bere amaren ogia dakar. √
Yo voy de casa al campo.
Ni etxetik noa mendiari. √Soy de ciudad.
Hiritik naiz. ?
Ejemplo del tratamiento de unidades léxicas multipalabra.
sin embargo
hala ere (NO enbargorik gabe)
6. Conclusiones y trabajo futuro
El problema principal de la traducción castellano-euskera es que
el sistema no tiene en cuenta la ambigüedad semántica. Aunque la
utilización de unidades multipalabra en el léxico suaviza este
problema, los responsables, basándose en su propia experiencia,
están considerando la posibilidad de aplicar desambiguación a
nivel de palabra.
Como se ha dicho previamente, el motor de transferencia poco
profundo es una versión mejorada en código abierto de otros
anteriores que son interNOSTRUM y Traductor Universia. A
fecha de hoy Opentrad es utilizado diariamente por miles de
personas en la red.
Puesto que se trata de motores de traducción automática en
código abierto, se pueden adaptar para otros pares de lenguas. En
el caso del motor de lenguas emparentadas, podrá adaptarse a
otras lenguas románicas (francés, portugués, italiano, occitano,
etc. ) e incluso a lenguas emparentadas no románicas (checoeslavo, sueco-danés, etc.) En el caso del motor para lenguas no
emparentadas, también podrá permitir que otros idiomas con
pocos recursos de traducción automática puedan contar con esta
herramienta.
Los resultados del proyecto han sido muy satisfactorios para
ambos motores, ya que han complido sus objetivos. En el caso del
euskera, se plantea la continuación del desarrollo para poder
alcanzar al umbral de 90%. Para ello, algunas de las mejoras que
se proponen son las siguientes: extractor de terminología
automático (ERAUZTERM,...), ayuda avanzada para elección de
significados (WordNet, técnicas WSD, ...), utilización de datos
sobre subcategorización de verbos, post-edición, etc. Por otro
lado, también se sugiere reducir el campo de traducción a un área
concreta para mejorar los resultados ya que una solución general
es mucho más difícil de conseguir. Adicionalmente, se planea
incluir la traducción euskeraÆ español e inglesÆ euskera.
7. Referencias
[1] Arantza Diaz de Ilarraza, Aingeru Mayor, Kepa Sarasola.
Euskal Herriko Unibertsitatea: “Adibideetan Oinarritutako
Itzulpen Automatikoa (AOIA): azterketa bibliografikoa eta
euskarekin lan egiteko proposamenak”.
[2] Nicolas Stroppa, Ceclan Groves, Andy Way. National Centre
for Language Technology. Dublin City University, Ireland.
Kepa Sarasola. Euskal Herriko Unibertsitatea. Informatika
Fakultatea, Donostia. Nacional Centre for Language
Technology at Dublin City University, Spring 2006.
“Example-Based Machine Translation of the Basque
Language”.
[3] Arantxa Diaz de Ilarraza, Aingeru Mayor, Kepa Sarasola.
IXA Taldea, Euskal Herriko Unibertsitatea, Informatika
Fakultatea, Donostia. “Reusability of wide coverage
linguistic resources in the construction of a multilingual
Machine Translation System”.
[4] E. Agirre, A. Díaz de Ilarraza, G. Labaka, K. Sarasola.
Euskal Herriko Unibertsitatea.“Uso de información
morfológica en el alineamiento español-euskera.
[5] Carme Armetano-Oller, Antonio M. Corbí- Bellot, Mikel L.
Forcada, Mireia Ginestí-Rosell, Boyan Bonev, Sergio OrtizRojas, Juan Antonio Pérez-Ortiz, Gema Ramírez-Sánchez,
Felipe Sánchez-Martínez. Grupo Transducens, Departament
d Llenguatges i Sistemas Informàtics, Universitat d’Alacant.
“An open-source shallow-transfer machine translation
toolbox: consequences of its release and availability”.
[6] Carme Armetano-Oller, Rafael C. Carrasco, Antonio M.
Corbí-Bellot, Mikel L. Forcada, Mireia Ginestí-Rosell,
Sergio Ortiz-Rojas, Juan Antonio Pérez-Ortiz, Gema
Ramírez-Sánchez, Felipe Sánchez-Martínez, Miriam A.
Scalco. Grupo Transducens, Departament d Llenguatges i
Sistemas Informàtics, Universitat d’Alacant.“Open-source
Portuguese-Spanish Machine Translation”
[7] R. Canals-Marote, A. Esteve-Guillén, A. Garrido-Alenda,
M.I. Guardiola-Savall, A. Iturraspe-Bellver, S. MontserratBuendia, S. Ortiz-Rojas, H. Pastor-Pina, P.M. Pérez-Antón,
M.L. Forcada. Grupo Transducens, Departament d
Llenguatges i Sistemas Informàtics, Universitat d’Alacant.
“El sistema de traducción automática castellano ↔ catalán
InterNOSTRUM”.
[8] Xavier Carreras, Isaac Chao, Lluís Padró, Muntsa Padr.
Centro de Investigación TALP, Universitat Politécnica de
Catalunya, Barcelona.“FreeLing: An Open-Source Suite of
Language Analyzers”
[9] Antonio M. Corbí-Bellot, Mikel L. Forcada, Sergio OrtizRojas, Juan Antonio Pérez-Ortiz, Gema Ramírez-Sánchez,
Felipe Sánchez-Martínez.Grupo Transducens, Departament d
Llenguatges i Sistemas Informàtics, Universitat d’Alacant.
Iñaki Alegria, Aingeru Mayor, Kepa Sarasola. IXA Taldea,
Informatika Fakultatea, Euskal Herriko Unibertsitatea.
EAMT 2005 Conference Proceedings. “An Open-Source
Shallow-Transfer Machine Translation Engine for the
Romance Languages of Spain”
[10] Iñaki Alegria, Arantza Diaz de Ilarraza, Gorka Labaka,
Mikel Lersundi, Aingeru Mayor, Kepa Sarasola. IXA
Taldea, Informatika Fakultatea, Euskal Herriko
Unibertsitatea. Mikel L. Forcada, Sergio Ortiz-Rojas.
Transducens group, Department de Llenguatges i Sistemas
Informàtics, Universitat d’Alacant. Lluis Padró, TALP
group, Department de Llenguatges i Sistemas Informàtics,
Universitat Politècnica de Catalunya. “An Open Architecture
for Transfer-based Machina Translation between Spanish
and Basque”. MT Summit. A workshop at Machine
Translation Summit X, Phuket, Thailand 2005
[11] I. Alegria, A. Diaz de Ilarraza, G. Labaka, M. Lersundi, A.
Mayor, K. Sarasola. “A FST grammar for verb chain
transfer in a Spanish-Basque MT System”. Proc of the Finite
State Methods in Natural Language Processing Workshop.
Helsinki.
[12] I. Alegria X. Artola, K. Sarasola, M. Urkia. “Automatic
morphological analysis fo Basque. Literary and Linguistic
Computing”.