RecoMed - LT

RecoMed
Automatic speech recognition with medical
transcription
Subventionné par
Idiap Research Institute
●
Independent research institute
○
○
●
~10 development staff
Research themes: “Human & Media Computing”
○
○
○
○
○
●
~100 people in total; mainly in research
Speech processing
Biometrics
Social signal processing
Machine learning
...
Technology transfer
○
via TheArk & IdeArk incubator
Definition of medical transcription
■
Wikipedia:
Medical transcription, also known as MT, is an allied health profession,
which deals in the process of transcription, or converting voicerecorded reports as dictated by physicians or other healthcare
professionals, into text format.
3
Transcription process at Suva
■
■
Delay between patient outing and discharge letter is too long
Hard constraint: 21 days
4
Existing medical ASR solutions
http://www.capterra.com/medical-transcription-software
Federal Act on Data Protection
■
https://www.admin.ch/opc/en/classifiedcompilation/19920153/index.html
■
Personal data
All information relating to an identified or identifiable person
■
Sensitive personal data
Data related to religion, health, social security measures, administrative
or criminal proceedings or sanctions
Distribution of personal data is severely restricted.
6
Project goal and objectives
■
Goal
Integration of an Automatic Speech Recognition (ASR) system in the
computerized patient record of the Clinique Romande de Réadaptation
(CRR)
■
Objectives
●
●
●
Transition from analog to digital dictaphones (CRR)
Development of a dedicated, robust ASR system (Idiap)
Integration of the ASR system in the new patient record workflow
7
Data
■
Background data
●
●
■
BDLex
Domain data
●
●
■
Bref 120 (~100 hours)
Suva anonymised medical transcripts (~100 Mio of words)
Suva anonymised audio recordings (~16 hours)
Anonymisation
●
●
Names, ages diseases all removed
Sentences from a given doctor randomised
8
Acoustic modeling
■
■
■
State of the art modeling techniques
Acoustic robustness with unsupervised adaptation
Kaldi toolkit
●
Kaldi is probably the most important tool in the chain
9
Language modeling
■
Multiple medical domains:
Ambulatory, Neurology, Rehabilitation, Evaluation, Paramedical
■
Punctuation modeling
… les personnes ayant une insuffisance respiratoire
chronique ouvrez la parenthèse par exemple
bronchite chronique virgule asthme virgule
emphysème virgule fibrose pulmonaire fermez la
parenthèse … selon les objectifs suivants deux
points à la ligne tiret bilan physiothérapeutique
complet ...
10
Text format: raw asr text
la physiothérapie et une composants importante de la rééducation
pulmonaire chez les personnes ayant une insuffisance respiratoire
chronique ouvrez la parenthèse par exemple bronchite chronique
virgule asthme virgule emphysème virgule fibrose pulmonaire
fermez la parenthèse … selon les objectifs suivants deux points à la
ligne tiret bilan physiothérapeutique complet ouvrez la parenthèse
inclus test de marche de six minutes virgule echelle de bureau
Text format: formatted text
La physiothérapie et une composants importante de la rééducation pulmonaire chez les
personnes ayant une insuffisance respiratoire chronique (p.ex. bronchite chronique, asthme,
emphysème, fibrose pulmonaire) ... les objectifs suivants :
- bilan physiothérapeutique complet (inclus test de marche de 6 mn, echelle de bureau des,
fonctions pulmonaires).
- évaluation individuel des besoins du patient, de ses capacités respiratoires fonctionel.
- éducation thérapeutique du patient pour mieux gérer sa vie avec maladie chronique.
- ménage bronchiques.
- réentraînement progressif à l'effort.
- accompagnement thérapeutique à l'arrêt du tabac.
- rapport de fin de traitement adressée au médecin prescripteur.
- le programme de réhabilitation et conçu de manière individualisé adapté à votre personne, à
votre âge, et retour condition physique.
Notre programme de réhabilitation respiratoire pluridisciplinaire à l'hôpital de la tour et sous
direction médicale responsable et reconnue par la société suisse de pneumologie, remboursée
par l'assurance maladie de base.
Conclusions
●
Medical transcription requires customisation
○
○
●
Language models to domain
The customisation is in conflict with data privacy
○
○
●
Acoustic models to medical practitioners
Speech specialists are not in hospitals
State borders are important
Toolkits such as Kaldi are invaluable