docthe problem of new labels
download 
Plainte Transcription
the problem of new labels
Ellen Riloff: Hey Hal, what happens If there are classes in the new domain That don't exist In the old domain? domain adaptation Hal (c. 2007): Meh? No clue. Does that really Happen in practice? the problem of new labels Hal (c. 2014): Ok. Yeah. It's a on problem. workshop transfer and multitask learning It's a big problem. at #nips2014 1/26 Hal Daumé III, [email protected] Adaptation: new labels Language does have many flavors! Can you guess what domain each of these sentences is drawn from? News Many factors contributed to the French and Dutch objections to the proposed EU constitution Parliament Please rise, then, for this minute's silence Medical Latent diabetes mellitus may become manifest during thiazide therapy Science Statistical machine translation is based on sets of text to build a translation model Stepmother I forgot to mention in yesterdays post that I also trimmed an overgrown HUGE hedge that spams the entire length of the front of my house and is about 3' accrossed. S4 taxonomy of adaptation effects Seen: Never seen this word before Sense: Never seen this word used in this way 3/26 News to technical: “monitor” Score: The wrong output is scored higher News to medical: “diabetes mellitus” News to medical: “manifest” Search: Decoding/search erred Hal Daumé III, [email protected] Adaptation: new labels S4 applied to “easy” NLP problems... Part of Speech Tagging Inside = Old domain Outside = New domain Seen 4/26 Sense Hal Daumé III, [email protected] Score Adaptation: new labels S4 applied to “easy” NLP problems... Part of Speech Tagging Shallow Parsing Seen Inside = Old domain 5/26 Sense Named Entity Recognition Score Outside = New domain Hal Daumé III, [email protected] Adaptation: new labels Is this a problem for harder tasks? 6/26 Hal Daumé III, [email protected] Adaptation: new labels Translating across domains is hard Old Domain (Parliament) Original Reference System monsieur le président, les pêcheurs de homard de la région de l'atlantique sont dans une situation catastrophique. mr. speaker, lobster fishers in atlantic canada are facing a disaster. mr. speaker, the lobster fishers in atlantic canada are in a mess. New Domain Original mode et voie(s) d'administration Reference method and route(s) of administration System fashion and voie(s) of directors Key Question: What went wrong? 7/26 Hal Daumé III, [email protected] Adaptation: new labels 8/26 French courir éxécuter virus fenêtre English run virus window Japanese Senses are domain/language specific 走る 病原体 ウィルス 窓 ウィンドウ Hal Daumé III, [email protected] Adaptation: new labels Domain Shift Setting Old domain: Hansard parliamentary proceedings Sentences 8m 9/26 fr en Tokens Types 162m 145m 192k 187k • French to English phrase-based translation system • Compare old domain model • With mixed old+new model as pseudo-oracle Hal Daumé III, [email protected] Adaptation: new labels New Domain Datasets Domain News Medical Science Subtitles Old domain 10/26 Tokens Types en 4m 3m 7m 6m 4m 4m 155m 174m 63k 52k 35k 30k 118k 114k 362k 293k fr 162m 192k en 145m 187k Sentences 135k 472k 139k 19,000k 8,000k fr en fr en fr en fr Hal Daumé III, [email protected] Adaptation: new labels 11/26 Hal Daumé III, [email protected] Adaptation: new labels SenseSpotting ● ● ● Spotting new words is easy Spotting words with new translations is hard Binary classification problem: ● ● ● +ve: French token has previously unseen sense -ve: French token is used in a known way 16 fold cross validation at the type level ● ● 12/26 Never let your parallel data tie you to an old domain Never test on a word type seen in training! train on mode, administration; test on rapport Hal Daumé III, [email protected] Adaptation: new labels Test vocabulary ramenez ramification recevez recherchée recouvrement réflexes rendez rends rigidité rigueur scalaire sébastien sorties souches stériles subissant abattez adressezaffaire altérationaltérés apexappariement articleaspirer avancezavérés boîtesbordeaux bruxellesbureau carboniquecarottes chênescher commissariatcompensation conjugaisonconjugué conviendraconvient couvertcouverture décroissancedéduite délivrancedélivré déversoirdieu duretééchantillon enceintesencéphalopathie épurééquilibres étudesévidence exposeexposition fermionsfictif fixéesflux frayerfrissons glissementgouttes humeurimmobile induisentinduit introduitsinutilisés lâchezlaissent lotsloups manuscritmarche mémoiremenacer milieumilieux montagemorte navetsnavette oeuvreoffice parcimonieparé patronpatrons peuplementpharmaceutique placeplaisantes pompeponderosa pratiquéepratiqués pressionprévues quantitativequartier rapportsratio rechuterécidive régimerègle requêterequises rossignolrubriques similitudesocle souplessource superpositionsupposée témoignenttémoin traduisanttrain viergevigilant voilavolets 13/26 abondante affaires amendement apparues association averties bordel çà cascade chère composition connaissance corporelles crédit déduites délivrée différait échantillons enchanté équilibrés éviterais exposons figure fonctions froideur grammes implication informations inventaires lanternes lumière marché méninges mineur motif niac ombrage parenté pays pharmaceutiques plan portées prélèvement prierai quartiers rayons récidives réglementation ressentez rupture sollicitations souris supposés témoins travaux vigueur vue abord affections amortissement appréhender associations avocat bords cadre ceinture chéri compositions connaît correcteur crête déformation délivrer diffusion échelle enchantée équité évitez extraits filaments fond frottement grands impulsions inscrit isolant liaison m. marquées mentionné minstérielles motifs notée opposition parles pêche phyllis plane porteurs premier primo quittes réaction récoltées régler restauration sang solution spatiaux surveillance terre tronçon viré vue des enfants accessoire affranchir ampoule approchez assume bague borne calculant cellulaire chute comprimé conservateur corroborent croissance déformations dépassait dirigés éclaircie enclos espèce évoquant fabrique fini formalisme galaxies granules impur installation issues liaisons machine matérielle mentionnée misères moules notice oppression parole pêchés pièce plans posteriori premières principes radiation réalisations récoltés relâchement retrouver sapin sommet spécialité survenue tiens trouble virer zut rapport rechercher refuges rendu rompre service souhaitée substituant accessoires agent ancrage appuyant attention baissez bosse calcule chambre circonscriptions concentriez conserve coupe croûte déformé dépôt disparaissaient écoulements énergétiques espèces examen fabriques finies formation garde graphique imputabilité instaurer jeté libre maillage matérielles mentions modèles mousse nouveau organe partenaire peine pied plaque postes prendrai priori raie récepteur reconstituées relèvement retrouverai saute sommets spectres sylvestre tiges tunique virus actualisé ajusté angulaire arc-en-ciel atténué balance bossé calculer champ classe conclut conserver couplage croyons dégage dérivent distinguent élevage ensemencement essais examinons face finis fouille gazeuse graphiques incertitude insuffisants jetée ligneux maison matière mérites modifiant mouvement noyaux ours particuliers penser pierre plaquettes potentialités prescription problème raison recettes reconstitution rendements revient sautez sortie stade système tirez unite visage Hal Daumé III, [email protected] rapportez recherchés refuserais reportés rond signalant soulèvement suis adaptations ajustement anneau arès atténués biais bosses calculons chance clé concordance construisons coupure déchet dégagé déroule donnez élucidé entiers état excitation factice fins fourchette gendre gueule incidences interdite jetés lit majorés matrices mesure module moyen occasion ouvertures passage perfusion pieux plateau poules présentations procréer ramenez recevez recouvrement rendez rigidité scalaire sorties stériles tableaux titres vais vital addition allaiter antécédent argent auras blessure bourbe campagne charbon climat conditionnement consultations cour décompose dégagement descends dormant embarqués entourage ethnie exerçant failles fissures fours généralise homologue indéterminée intéresse jetez localisation manifestant médicamment mesures moduler moyennes occulte ovaires passez personnellement pige plateforme poussant présentiez pronostic ramification recherchée réflexes rends rigueur sébastien souches subissant taper titulaire vaisseau vitesses adèle allé antérieure arrêté auteurs blocage branchement canevas charge clocher conducteurs contraceptifs courant déconseillé dégageons désordonné douglas émise entrant et/ou exercices famille fixation foutre genre homologues indiquez interrompez joël localiser manquerais mélangées métalliques moelle nature occurrence ovules pathologie perturbations pigé poids pratique président provenance rapport rechercher refuges rendu rompre service souhaitée substituant taux tourbière véhicule vivement administration allongement apercevez arriverai avaliser boisés brutal capital charges coffres confrontation contraire couronne découvre dégénérescence détail droit enceinte entrée étude exposant faut fixée franchit genres humain indispensables introduisez labrador localité manques membres métriques monday navet octroi paquets patient petits piste point pratiqué pressez putain rapportez recherchés refuserais reportés rond signalant soulèvement suis taxons toxicologie vidange voie Adaptation: new labels Automatically identifying new senses ● Context + existence of translations in comparable data is a window have a window in the , we of opportunity of opportunity run up to run the risk the browser window ' s in the window to give time to run when applied or have run vcvars.bat , 14/26 fenêtre courir éxécuter window run via une fenêtre insérée . vers ma fenêtre ou vers voulons pas courir le risque , sans courir le risque dans la fenêtre . cet dans la fenêtre . </s> courir not found ne pouvez éxécuter que les pour l' éxécuter elle va Hal Daumé III, [email protected] Adaptation: new labels New Sense Indicators New senses alter corpus-level word frequency New senses alter document-level context • topic distribution New senses alter local context • n-gram language model • distributional similarity • context-dependent translation model 15/26 Hal Daumé III, [email protected] Adaptation: new labels SenseSpotting Results Medical (52% positive, 35k tokens) All Features Only Token Only Type Subtitles Random (43% positive, 23k tokens) Constant Science (24% positive, 8k tokens) 45 50 55 60 65 70 75 Area Under the ROC Curve 16/26 Hal Daumé III, [email protected] 80 85 (cross-validation) Adaptation: new labels Indicators to reach peak performance New senses alter corpus-level word frequency New senses alter document-level context • topic distribution New senses alter local context • n-gram language model • distributional similarity • context-dependent translation model Computed at both type and token levels 17/26 Hal Daumé III, [email protected] Adaptation: new labels SenseSpotting summary • new task motivated by cross-domain machine translation errors • free token-level annotation from parallel text • minimal new domain parallel text required • AUC as high as 80% • on word types never seen during training • requires both type and token level indicators 18/26 Hal Daumé III, [email protected] Adaptation: new labels Simultaneously solving seen+sense ● Idea: ● ● ● ● Assumptions: ● ● 19/26 We have good knowledge of translations in the old domain We have good knowledge of raw word frequencies in a new domain in each language individually Can we “nudge” the translation probabilities to match these raw frequencies Old domain parallel data New domain comparable data Hal Daumé III, [email protected] Adaptation: new labels Marginal matching for “sense” errors Recover: ● Joint q(x,y) in the new domain We formulate as a L1-regularized linear program Easier: many q(x) and q(y)s 20/26 Hal Daumé III, [email protected] French Vocab Given: ● A joint p(x,y) in the old domain ● Marginals q(x) and q(y) in the new domain English Vocab ??? Adaptation: new labels Marginal matching 21/26 Hal Daumé III, [email protected] Adaptation: new labels Additional features • Sparsity: # of non-zero entries should be small • Distributional: document co-occurrence ←→ translation pair • • Spelling: Low edit dist ←→ translation pair • • Frequency: Rare words align to rare words; common words align to common words 22/26 Hal Daumé III, [email protected] Adaptation: new labels Marginal matching details : regularization term : edit distance penalty subject to: 23/26 Hal Daumé III, [email protected] Adaptation: new labels Example Learned Translations French Correct cisaillement shear chromosomes chromosomes Learned Translations viscous crack shear chromosomes chromosome chromosomal caractérisation characterization characterization characteristic π araignées spiders spiders ant spider tiges stems usda centimeters flowering 24/26 Hal Daumé III, [email protected] Adaptation: new labels BLEU Scores Baseline + Strip accents + Top 1 for OOVs + Top 1 for rare + oracle OOVs 25/26 Hal Daumé III, [email protected] Adaptation: new labels Discussion Machine translation adaptation has lots of challenges: – New words appear all the time – Words gain new senses all the time – … and the usual (new scores) S4 as a (qualitative) measure of divergence SenseSpotting helps when new classes arise Marginal matching: learning on comparable data Thanks to: Fabienne Braune Marine Carpuat Ann Clifton Alex Fraser Katharine Henry Ann Irvine Jagadeesh Jagarlamudi John Morgan Chris Quirk Majid Razmara Rachel Rudinger Aleš Tamchyna Thanks! Questions? 26/26 Hal Daumé III, [email protected] Adaptation: new labels
![[IMAGE] Course Name: Solutions aux problèmes courants en matiÃ](http://s1.doczz.fr/store/data/003407664_1-fcc131f99f53b9e88fd3e6243c5ae676-70x70.png "[IMAGE] Course Name: Solutions aux problèmes courants en matiÃ")
