du pictogramme au texte et inversement
Transcription
du pictogramme au texte et inversement
Communication pictographique bidirectionnelle: du pictogramme au texte et inversement Maryvonne Abraham Institut TELECOM : TELECOM-Bretagne PRES Bretagne ; laboratoire LaLIC Paris4 -Sorbonne CS 83818 F 29238 Brest cedex 33(0)229001098 [email protected] Résumé- Nous avons proposé une véritable écriture pictographique de la langue, à destination de personnes qui n’ont pas, pas encore, ou plus, accès à l’écriture alphabétique ordinaire. Le logiciel (Axelia1) permet à ces personnes d’écrire le texte qu’elles désirent et de l’envoyer en courriel par internet ou à une synthèse vocale. Inversement, ces personnes souhaitent lire du courrier textuel traduit en écriture pictographique. Nous développons ici ce changement d’écriture d’un point de vue linguistique et cognitif, dans une présentation qui met en relief les pictogrammes désignant des mots, décorés des opérations grammaticales qu’ils subissent dans la phrase. Mots-clés : Communicateurs, communication alternative et augmentée, dispositifs d’assistance pour la restauration ou l’amélioration des fonctions perceptives sensorielles et cognitives, troubles langagiers, structure de la langue, écriture pictographique de la langue, pictogrammes. I. PROBLEMATIQUE DE LA PALLIATION DES TROUBLES DE LA PAROLE Depuis quelques années, [[1], [2], [3], nous élaborons une « machine à communiquer à partir de pictogrammes », destinée au départ à des enfants infirmes moteurs cérébraux (I.M.C.) sans parole et paralysés. Notre objectif est de les aider dès leur plus jeune âge à penser dans leur langue, sans inventer un langage de communication particulier, mais en leur donnant accès à la langue de tous (qu’ils acquièrent passivement par l’audition) à partir de pictogrammes qui représentent des mots, et non des concepts. L’idée est de sélectionner et de disposer dans l’ordre de la langue une suite d’images de mots et de traduire cette suite en texte2. envoyé à une synthèse vocale à partir de texte, à une imprimante ou à une messagerie électronique. Dans la figure 1, l’émetteur 1 écrit un texte à partir de pictogrammes pour un récepteur 2 lisant du texte. C’est à la démarche inverse que nous nous intéressons ici. 1 Ce logiciel est le résultat d’un transfert de technologie de nos travaux en faveur des enfants infirmes moteurs cérébraux vers la société RDI+. La partie « Traduction » de 1 vers 2 de la figure 1 est actuellement réalisée par le logiciel Axelia dont la présentation de la figure 8 fait apparaître diverses fonctionnalités du produit, repérées par des couleurs. 2 Récepteur Émetteur 1 Traduction Récepteur Pictogrammes Texte 2 Émetteur Fig.1. Schéma d’une communication entre deux procédés d’écriture d’une même langue. La traduction d’une suite de pictogrammes en texte est moins simple qu’il n’y paraît[10]. Aligner des étiquettes ne constitue pas une phrase. De plus, que représentent ces étiquettes ? Des concepts ou bien des mots ? Toutes les langues ont besoin d’une grammaire pour affecter les mots d’indications sémantiques et pour indiquer le rôle interprétatif de ces mots dans une phrase. Voulant donner le maximum de possibilités de communication aux enfants I.M.C., nous avons souhaité mettre à leur disposition une machine à écrire dans laquelle les mots sont remplacés par des pictogrammes, qui en constituent alors une écriture globale. Pour les scripteurs, la structure de la langue est respectée, et permettra plus facilement le passage à l’écriture alphabétique. D’un point de vue linguistique, il s’agit de résoudre un problème d’écriture de la langue, puisque les pictogrammes lexicaux doivent d’une part représenter des entités, ce qui pose le problème de leur « dessin » dans un contexte de polysémie, et d’autre part, porter en contexte l’indication de flexions ou de mutations résultant des opérations grammaticales. Reconstruire un texte à partir de ces pictogrammes nécessite donc de proposer aussi d’indiquer les opérations grammaticales par des pictogrammes. Nous résumons dans une première section l’essentiel du produit auquel nous sommes arrivés. Ce produit nous a été demandé pour un grand nombre de personnes sans parole, porteuses de troubles de langage dûs à différentes causes. Si ces personnes ne peuvent pas lire et ne communiquent qu’à partir de pictogrammes traduits en texte, leur envoyer du courrier écrit ne leur permet pas d’avoir accès par elles-mêmes au contenu de ce courrier. Il devrait être traduit en pictogrammes pour qu’elles puissent le lire. Un problème inverse se pose donc: si les personnes peuvent écrire avec des pictogrammes, il faut leur donner à lire des textes3 « écrits en pictogrammes », c’est-à-dire, traduire en écriture pictographique un document écrit en écriture alphabétique. Nous avons donc étudié le problème inverse qui ne se révèle cependant pas réellement inverse [8], [9]. II. DES PICTOGRAMMES AU TEXTE A . Écrire avec des pictogrammes En réalisant les prototype qui ont abouti à la machine Axelia, nous avons voulu aider d’abord les enfants I.M.C. sans parole qui n’avaient pas de problèmes mentaux, afin qu’ils rejoignent le plus rapidement possible la communauté des enfants alphabétisés. A cette fin, les outils pictographiques actuels qui considèrent les pictogrammes comme représentant des concepts et non des mots n’aboutissent qu’à un nouveau langage aux structures floues et non à l’écriture de la langue. Ce passage par un langage intermédiaire au moment de l’apprentissage est susceptible d’induire de mauvaises conceptions de la langue, difficiles à corriger par la suite. Nous pensons qu’il est mieux pour l’enfant de faire des fautes (on voit alors où sont les problèmes) que de « camoufler » sa dysorthographie par une machine qui lui permet de s’exprimer avec un « à peu près » qui n’est pas satisfaisant pour lui s’il sait qu’il veut dire autre chose que ce qu’une machine lui fait dire. Notre projet veut respecter la structure de la langue afin que le passage à l’écriture alphabétique, s’il est réalisé, ne soit pas l’apprentissage d’un nouveau langage mais seulement l’écriture des mots, puisque les structures du français n’auront pas été biaisées par un premier apprentissage. B . Catégorisation des pictogrammes Les pictogrammes sont plus que la représentation d’un désigné. Ils représentent le lexique4 auquel il faudra ajouter des pictogrammes de grammaire ainsi que des pictogrammes de gestion. La machine à écrire comportera donc plusieurs catégories de pictogrammes, qu’il faudra repérer rapidement. A condition de n’avoir par de problème pour voir les couleurs, un repérage coloré permettra d’accéder facilement à la catégorie souhaitée. Pour la présentation, nous avon retenu un petit nombre de catégories principales : noms, adjectifs, verbes, opérations, et phrases d’urgence. Le dessin d’un mot n’est pas suffisant pour associer un mot à un pictogramme. Une opération de catégorisation permet de situer ce mot dans une catégorie syntaxique ou dans une catégorie sémantique. Nous donnons ici quelques grandes indications concernant la représentation des pictogrammes dans l’organisation de la machine. La figure 2 représente trois animaux correspondant respectivement à trois mots (des noms) qui les désignent. Ce sont des animaux, mais comment désigner un animal ? L’animal est un nom de catégorie qui peut désigner chacun des trois animaux. Nous représentons donc le mot animal par un pictogramme qui regroupe les trois exemplaires précédents. Le mot est atteint par 3 La demande nous a effectivement été faite par des foyers de vie. Avec les problèmes de polysémie que cela suppose ; nous les avons déjà traités par ailleurs. 4 l’opération cognitive de comprendre ce qui réunit ces animaux [4]. Fig.2. Pictogrammes de mots. Mais nous souhaitons aussi construire une catégorie sémantique « animal » qui permettra d’accéder à une page qui contiendra des animaux. Ce pictogramme représentera aussi les mêmes animaux, mais « en défonce », sur fond bleu (couleur de catégorisation des noms) ; le même pictogramme « en défonce » sur fond rouge (couleur catégorisant les verbes) donnerait accès à une page de verbes propres aux animaux (nicher, barrir, braire, ...) Fig.3. Pictogrammes de catégories sémantiques. Un même dessin peut se retrouver dans plusieurs catégories syntaxiques. Il n’aura pas la même signification dans chacune de ces catégories, puisqu’il peut alors désigner soit un nom, soit un verbe ou un adjectif suivant la catégorie dans laquelle il se trouve. Par exemple, un livre dans la catégorie des noms désignera bien le mot livre , mais, placé dans la catégorie des verbes, il signifiera lire et placé dans la catégorie des adjectifs, il pourra signifier lisible. Fig. 4. Pictogrammes de catégories syntaxiques. Les remarques précédentes permettent à un lecteur d’avoir accès à des mots et à des opérations de grammaire pour construire les séquences textuelles qu’il souhaite exprimer. Nous donnons figure 6 un exemple d’écriture pictographique de la phrase Nous avons fait des châteaux de sable et des courses sur le bord de la mer. LIRE SANS SAVOIR LIRE : DU TEXTE AUX PICTOGRAMMES La démarche inverse de celle que nous venons de présenter nous a été demandée par des foyers de résidants : convertir l’écriture textuelle en pictogrammes. En effet, la personne qui ne sait pas lire peut écrire du texte à partir de pictogrammes, mais elle ne pourra pas lire le texte de réponse de son correspondant. Si dans le sens pictogramme vers texte, il ne suffit pas d’aligner les pictogrammes de mots pour construire un texte, c’est encore vrai pour comprendre une suite de pictogrammes lexicaux; des pictogrammes de grammaire doivent pouvoir donner un minimum d’indication pour comprendre le rôle interprétatif des mots. Nous remarquons dans la phrase de la figure 6 les mots du lexique et des mots grammaticaux. La production de la phrase suit l’ordre de la pensée du scripteur, mais la relecture de la suite de pictogrammes lexicaux et grammaticaux n’est pas très intuitive; elle l’est encore moins si nous enlevons les sous-titres de chaque pictogramme. Nous proposons donc de présenter la traduction du texte vers les pictogrammes comme sur la figure 7 où les mots sont placés dans un fond qui indique leur catégorie syntaxique et où apparaissent en indices les opérations grammaticales que ces mots reçoivent. C’est une manière de faire porter aux pictogrammes les indications grammaticales données par les transformations morphologiques de l’écriture alphabétique. C . L’analyse syntaxique Dans la traduction des textes vers les pictogrammes, l’analyse syntaxique doit au minimum aboutir à une lemmatisation des mots rencontrés, pour retrouver leur catégorie syntaxique et le pictogramme associé dans le dictionnaire. Les opérations grammaticales doivent, nous l’avons vu, être indiquées. Quelques remarques s’imposent : Dans la phase de traduction de l’écriture pictographique en écriture textuelle , pour réduire les efforts d’écriture, l’article défini est inséré par défaut; est-il alors judicieux de l’indiquer dans la traduction inverse ? La construction du dictionnaire a bien fait apparaître que le genre d’un mot est une donnée attachée au lexique5 et non à l’entité que ce mot désigne. Le genre d’un nom se propage sur l’article et les adjectifs qui l’accompagnent, par des modifications morphologiques. Faut-il rendre compte, dans notre présentation, du genre et du nombre au niveau de chaque pictogramme ou bien au niveau d’un syntagme nominal? Pour l’expression les belles fleurs jaunes et les gros chats blancs, la présentation actuelle est donnée figure 4, où le groupe syntaxique est indiqué par un encadrement coloré, qui fait bien apparaître que les opérations de mise au pluriel et au féminin des mots affecte un groupe nominal en son entier : PLURIEL(FEMININ(ADJ1 (ADJ2 (NOM)))) 5 La même entité n’a pas le même genre d’une langue à l’autre (le soleil en français, die Sonne en allemand, etc…) ; dans une même langue, la même entité peut recevoir les deux genres selon les mots qui la désignent : le vélo, la bicyclette. Fig. 4. Deux syntagmes nominaux au pluriel . D . Types syntaxiques des pictogrammes Le lexique et les opérateurs grammaticaux sont rangés dans une base de données XML qui contient la liste des pictogrammes de mots et de grammaire, assortis de leurs attributs indiquant leur catégorie syntaxique, leur genre. La catégorisation syntaxique visible par les utilisateurs est moins complète que celle qui est utile à l’analyse syntaxique. Pour l’analyse syntaxique, une grammaire catégorielle retient des catégories syntaxiques plus fines que celles des grammaires de langue habituelles, et permet de vérifier la bonne correction syntaxique d’une phrase. Dans une grammaire catégorielle [5], [6], [7], la concaténation syntagmatique d’unités linguistiques élémentaires n’est pas l’opération fondamentale comme dans les grammaires de réécriture de Chomsky. C’est l’application d’un opérateur à un opérande qui est l’opération constitutive des unités linguistiques complexes. Chaque catégorie syntaxique est alors représentée par un type fonctionnel, ou par un type d’opérateurs. Un tel type exprime des restrictions de l’opération d’application ; il spécifie quels sont les opérandes possibles sur lesquels un opérateur d’un certain type peut s’appliquer. Plus précisément, un type représentant une catégorie indique : (i) comment la catégorie d’une unité est construite à partir de catégories plus élémentaires ; (ii) quelles sont les propriétés communes des opérateurs qui sont les éléments constitutifs de la catégorie ; (iii) le type de l’unité construite par l’application d’un opérateur à un opérande. L’analyse syntaxique devient ainsi un véritable calcul qui opère non pas sur les unités agencées selon l’ordre syntagmatique mais sur les types des unités agencées par l’opération d’application. Des types de base sont attribués à certaines unités : N pour entités nominales, N* pour syntagmes nominaux complets (ou clos), S pour entités phrastiques ; les autres unités reçoivent des types d’opérateurs. L’ensemble des types syntaxiques est alors défini comme suit à l’aide de l’opération ‘O’de formation des types d’opérateurs: 1. les types de base sont des types N, N*, S ; 2. SI X et Y sont des types alors OXY est un type. Une unité de type OXY agit comme un opérateur qui attend une unité de type X pour construire une unité de type Y. L’analyse syntaxique vérifie la bonne formation des agencements des unités linguistiques par un calcul analogue à celui des propositions. La vérification s’assure les types sont réductibles, au moyen de règles d’élimination, associées directement à l’opération d’application, à un type de la catégorie S des phrases. Le tableau ci-dessous donne les types syntaxiques des différentes catégories syntaxiques retenues dans la langue française : TABLEAU I TYPES SYNTAXIQUES DES MOTS DU FRANÇAIS Catégorie syntaxique Type syntaxique Exemples Noms N Chaise, chaussée, … Syntagmes nominaux N* clos Jean, le chat, … phrases S Le chat dort Verbes intransitif ON*S courir Verbes transitifs ON*ON*S sortir quelque chose Articles ONN* le, la , les, un Adjectif ONN petit, blanc Adverbe (déterminant OON*SON*S de verbe) lentement Adverbe (déterminant OSS de phrase) malheureusement Conjonction phrases et, parce que de OSOSS Conjonction de ON*ON*N* syntagmes nominaux et, ou Conjonction d’adjectifs ONONN et, ou Prépositions (transpositions) ON*OON*SO N*S sur, vers, dans pictogrammes lexicaux sont mis en évidence, indicés par certaines des opérations qui les affectent (genre et nombre pour les groupes nominaux de premier niveau). Dans la figure 4, nous avons fait apparaître deux syntagmes nominaux clos séparés par la conjonction et. Nous n’avons pas mis visuellement en évidence le syntagme nominal clos résultant de la conjonction. Est-il pertinent pour la compréhension de le faire, ou bien est-il plus clair de laisser la séparation par la conjonction qui peut relier des expressions de plusieurs types ? Nous choisissons de ne pas faire apparaître trop d’emboîtements qui pourraient devenir trop importants sur l’espace de présentation, atténuant finalement la lisibilité du message. Nous pouvons refaire un calcul de correction syntaxique pour l’exemple Nous avons fait des châteaux de sable et des courses sur le bord de la mer : des châteaux de sable ONN* N ONONN* N On vérifie que ce groupe vaut: N* et des courses ON*ON*N* ONN* N ce groupe vaut ON*N*, et legroupe complet est de type N*. calculons le type de l’expression Nous avons fait N* ON*ON*S Ce groupe vaut ON*S : le verbe transitif attend un complément de type N*. La phrase est bien correcte, et correspond au découpage que nous présentons au lecteur figure 7. Dans cette figure, nous avons choisi d’indiquer les types sémantiques des pictogrammes affichés, faisant apparaître les syntagmes nominaux clos de premier niveau6 affecté de leurs opérateurs immédiats, et des opérateurs lexicalisés: le verbe, la conjonction, la préposition. E . Calculs sur les types syntaxiques La correction syntaxique d’une phrase est donnée par un calcul sur les types syntaxiques. Vérifions-le sur les exemples déjà cités: Les belles fleurs jaunes et les gros chats blancs Ce groupe nominal clos doit être de type N* : Les belles fleurs jaunes ONN* ONN N ONN -----------------N --------------------------N -------------------------N* On vérifie par un calcul identique que le groupes les gros chats blancs est de type N*. L’expression entière reliée par et, conjonction de syntagmes nominaux de type ON*ON*N* donne bien comme résultat N*. Nous voyons que la conjonction et porte une surcharge de types syntaxiques suivant les groupes syntaxiques qu’elle relie. C’est la présentation des pictogrammes pour une meilleure lisibilité de la phrase correspondante que nous visons. Les Fig. 5. La même phrase produite par la traduction pictogramme vers texte et texte vers pictogramme. Les critères de décoration d’un mot dans une phrase peuvent s’exprimer par un certain nombre de règles : 1. Si un ou plusieurs mots renvoient à une entité plurielle, alors le groupe de mots doit être affecté du pictogramme PLURIEL. Par exemple, les chats renvoie à une pluralité, 6 Les syntagmes nominaux de niveau supérieur comportant un nom et son complément de nom on été « surencadrés ». donc, le pictogramme CHAT est placé dans un cadre qui contiendra le pictogramme PLURIEL (figure 4). 2. Si un ou plusieurs mots renvoient à une entité féminine, alors ces mots sont placés dans un cadre qui contiendra l’indication FEMININ (figure 4). Si nous nous intéressons maintenant aux opérateurs verbaux, dans la grammaire catégorielle, l’opérateur de négation, idempotent, portera plusieurs types suivant qu’il agit sur un verbe transitif, intransitif, ou sur d’autres unités syntaxiques (noms ou adjectifs, par exemple non-voyant, …). L’opérateur de négation, qui ne porte que sur le prédicat verbal, décorera le cadre du verbe (figure 5). III. d’emploi. La seule véritable contrainte que nous nous imposons est de ne pas nous écarter du système de la langue, en inventant un nouveau langage. Proposer l’accès à la langue ne signifie pas l’imposer. Qui peut le plus peut le moins : l’utilisateur n’est en aucune façon tenu de respecter la grammaire si l’utilité de cette grammaire lui échappe. Sa production sera alors plus simple ; elle permettra de connaître son style d’expression et ses possibilités réelles et pourra parfois imposer à ses interlocuteurs un effort de compréhension. Si l’utilisateur en a les capacités cognitives, il pourra construire du texte véritable et s’insérer ainsi dans les pratiques de communication de notre société. CONCLUSION Notre objectif, dans cette traduction du texte vers les pictogrammes, est de donner à voir le plus clairement possible le sens du texte initial, en affectant les images des mots du lexique des opérations grammaticales que ces mots subissent dans leur mise en texte. Nous avons voulu justifier notre démarche d’analyse syntaxique par une grammaire catégorielle, qui retient des syntagmes nominaux clos à plusieurs niveaux, et des opérateurs. La lisibilité et l’interprétation du « texte » doivent être possibles à des lecteurs de niveaux différents. Un lecteur sensible seulement au lexique lira les pictogrammes lexicaux, les plus visibles, en construisant une interprétation moins riche que le lecteur qui tiendra compte des indications grammaticales. Si nous prenons l’exemple de la lexie châteaux de sable, dans laquelle sable spécifie le château, il est important de marquer cette spécification. Dans la figure, nous avons ajouté un cadre pour marquer cette lexie, alors que l’indication représentant le complément de nom pourrait suffire. Nous visons une compatibilité avec la langue : la compatibilité des opérations syntaxiques propagées comme celles du genre et du nombre est respectée dans cette présentation. Les temps verbaux sont indiqués, ainsi que la négation du prédicat verbal si elle est présente. Le calcul catégoriel que nous venons de présenter, illustré par l’écriture pictographique, dégage les mots-opérateurs de la langue, les mots-opérandes (les noms), et les syntagmes nominaux clos. Il fait bien apparaître la structure opérateur/opérande de la langue, structure qu’il faut respecter pour construire un texte à partir de pictogrammes et dont on ne peut pas faire l’impasse dans un véritable apprentissage. L’évaluation de ce logiciel se fait en continu et en boucle, par des professionnels participant de près à ce projet, et aussi par des personnes volontaires qui ont demandé à le tester. Les remarques sont étudiées et contribuent à en faire évoluer les facilités REFERENCES [1] Abraham, MY, « les télécommunications pour les handicapés », in Annales des télécommunications, Santé et technologies de l'information, 876 : 889, t. 58 N° 5-6, G.Cazuguel, B. Solaiman, 2003. [2] Abraham M.Y.,” How can be the language written for a palliative vocalized communication?”, AMSE, 95:105, 2002. [3] Abraham, MY, Journal Européen des Systèmes Automatisés (JESA) vol 34, n°6-7, Handicap 2000 – Assistance technique aux personnes handicapées – « Reconstruction de phrases oralisées à partir d’une écriture pictographique », 883 :901, Hermès Sciences, 2000. [4] Cordier, F. & Labrell, F. « L’enfant et la catégorisation. Le traitement des propriétés des objets. » Psychologie française, 45(2), 2000. [5] Desclés, J.-P., 1990, Langages applicatifs, langues naturelles et cognition, Paris : Hermès. [6] Desclés J.P. 1987– Recherches et Développements dans les industries de la langue « Tendances de la linguistique contemporaine : différentes notions de la grammaire universelle ». pp. 55 – 113. INRIA, 1987, Paris. [7] Desclés – Culioli– Traitement formel des langues naturelles : première partie : mise en place des concepts à partir d’exemples. Mathématiques et Sciences Humaines, N° 77, 1982, pp. 93 – 125, 1982b [8] Gineste, M.-D., Le NY, J.-F., Psychologie cognitive du langage, de la reconnaissance à la compréhension, Dunod, Paris, 2002. [9] Le NY, J.-F., Comment l’esprit produit du sens, Odile Jacob, Paris, 2005. [10] Tsimba, V., Deneuville, A. (1996) "La valse des étiquettes : étude de la syntaxe mise en oeuvre dans les tableaux de communication" Ann. Réadaptation Med Phys (1:6), Elsevier. Fig.6. Texte produit par Axelia à partir de l’ écriture pictographique. N* ON*ON*S N* ON*N* N* ON*ON*N* N* ON*OON*SON*S N* ON*N* P ro no nc er la p hra s e Fig.7. Proposition de présentation de la traduction en pictogrammes de la même phrase de texte : les pictogrammes sont placés dans des cadres colorés correspondant à leur catégorie syntaxique. Consulter le texte; ce texte peut être prononcé et aussi être envoyé par courriel Indication du niveau de descente dans la hiérarchie des pages Une réserve d’un lexique de 60000 mots non mutés est disponible Fonctions d’envoi d’un courriel Des pages spéciales peuvent être créées Fig. 8. Présentation du logiciel Axelia : les fenêtres affichées ici n’apparaissent à l’écran que lors d’un appui sur le pictogramme d’appel .