Sensor Data Fusion and Integration of the Human Element
Transcription
Sensor Data Fusion and Integration of the Human Element
RTO-MP-12 AC/323(SCI)TP/4 NORTH ATLANTIC RESEARCH TREATY ORGANIZATION AND TECHNOLOGY BP 25, 7 RUE ANCELLE, ORGANIZATION F-92201 NEUILLY-SUR-SEINE CEDEX, FRANCE © RTO/NATO 1999 Single copies of this publication or of a part of it may be made for individual use only. The approval of the RTA Information Policy Executive is required for more than one copy to be made or an extract included in another publication. Requests to do so should be sent to the address above. RT0 MEETING PROCEEDINGS 12 Sensor Data Fusion and Integration Human Element of the (la Fusion de données de senseur et l’intégration du facteur humain) Papers presented at the System Concepts and Integration (XI) Canada, 14-17 September 1998. Symposium held in Ottawa, Published February 1999 Distribution and Availability on Back Cover RTO-MP-12 AC/323(SCI)TP/4 NORTH ATLANTIC RESEARCH TREATY AND TECHNOLOGY BP 25, 7 RUE ANCELLE, RT0 ORGANIZATION MEETING ORGANIZATION F-92201 NEUILLY-SUR-SEINE PROCEEDINGS CEDEX, FRANCE 12 Sensor Data Fusion and Integration Human Element (la Fusion de données de senseur et l’intégration Pupers presented at the System Concepts and Integration Canada, 14-17 September 1998. of the du facteur humain) (XI) Symposium held in Ottawa, La fusion de données de senseur et l’intégration du facteur humain (RT0 MP-12) Synthèse Les opérateurs des futurs systèmes militaires sur un champ de bataille en environnement numérisé devront faire face à des volumes grandissants de données. Ces données proviendront de sources multiples telles que capteurs embarqués et autres plates-formes et systèmes. Le fusionnement des données capteurs (SDF) permet d’intégrer ces données afin de présenter la situation à l’opérateur de la façon la plus simple et la plus précise possible. Les avantages escomptés comprennent la diminution de la charge de travail de l’opérateur, ainsi que l’amélioration de la gestion de la mission et de la prise de décisions. Ce symposium a eu pour objectif principal de permettre aux représentants des pays membres de 1’OTAN d’examiner et de discuter des questions technologiques et opérationnelles soulevées par l’intégration effective des systèmes SDF dans l’environnement de travail des opérateurs militaires. Le symposium a été organisé sous forme de sessions : l Caractéristiques des besoins opérationnels l Techniques et technologies de conception systèmes l Intégration des opérateurs humains dans les systèmes complexes l Applications systèmes l Enseignements tirés et tendances Les communications présentées ont abordé un large éventail de sujets concernant divers types de platesformes et de missions. Les principaux domaines couverts furent : l Le développement et la mise en oeuvre d’algorithmes de fusionnement de données l La conception des interfaces homme-machine SDF l Les méthodes d’évaluation de l’efficacité de l’intégration des systèmes SDF l Les résultats des essais de performance des systèmes SDF La question de la responsabilité de la mission a été discutée : Les « décisions » prises par un système SDF, sont-elles imputables à l’être humain ou à la machine ? Quels sont les tests intégrés à inclure pour permettre à l’opérateur de vérifier une décision de fusion, afin d’en tenir compte ou non. Etant donné la sensibilité du climat politique actuel, cette question pourrait être déterminante pour l’adoption des systèmes SDF. La majorité des participants semblait convaincus que l’intégration des systèmes SDF pourrait améliorer de façon considérable l’efficacité des missions, en étant cependant d’accord sur le fait que l’intégration de l’élément humain était indispensable et que l’implication des membres d’équipage au stade de conception demeurerait un élément clé. Les participants ont souligné l’importance d’une formation appropriée qui devrait permettre aux équipages non seulement d’apprécier les capacités du système, mais aussi d’avoir confiance dans les informations qu’il génère. Dr George E A Reid Président du comité de planification technique iv Click inside the blue boxes or on the titles to view the corresponding section Contents Executive Page ... lu Summary iv . .. vlu Synthèse Theme/Thème Pane1 Offker and Programme ix Committee Reference Technical Evaluation by S. Leek T Report Opening Address by J. Leggat 0 Keynote Address by E.L. Fleeman K SESSION 1: CHARACTERISTICS OF OPERATIONAL REQUIREMENTS Chairman: Mr J.B. SENNEVILLE (FR) Intelligent Crew Assistant for Military by A. Walsdorf and R. Onken On the Design of a Decision Support a Modern Frigate by B.A. Chalmers Transport 1 Aircraft System for Data Fusion and Resource Management in 2 Paper 3 withdrawn Paper 4 withdrawn SESSION II: SYSTEM DESIGN TECHNIQUES AND TECHNOLOGIES Chairman: Ir P. van den BROEK (NE) Measures of Merit for Collaborative Collection, Connection, by C. Kowalski, S. Stubberud, D. Klamer and M. Alford and Execution Contextual Information and Multisensor Data Fusion for Battlefield by A. Bastière, V. Chalmeton and V. Nimier Management Applications 5 6 Paper 7 withdrawn Image Data Fusion for Future Enhanced Vision Systems by H.-U. Doehler, P. Hecker and R. Rodloff A Distributed System for Command Language Abstraction by E. Saridogan Novel Concepts for Identity by S.M. Arman and Control Applications Fusion in an Air Combat MIDS Triangulation and De-Gbosting of Intersection by J.W.R. Ziegler and H. Sachsenhauser Y with Programming Environment 10 Points 11 SESSION HI: INTEGRATION OF HUMAN Chairman: Dr-Ir OPERATORS L. CROVELLA Subjective Information Given by User in Bearings-Only by M. Spigai and J.-F. Grandin Integration of the Human Technologies by G.M. Rood Fusion and Display by G.F. Ardey Operator into Complex of Data According WITH (IT) Target Motion SYSTETMS Analysis Air Systems Using Alternative to the Design Philosophy of Intuitive Enhanced and Synthetic Vision System Concept for Application Missions by C. Swail and S. Jennings Evaluation of the Cockpit Assistant Military by A. Schulte and P. St&z COMPLEX Aircraft CAMA 12 Control Use to Search and Rescue in Simulator Trials 13 14 15 16 SESSION IV: SYSTEM APPLICATIONS Chairman: Mr P. SERGENT (FR) Fusion and Display of Tactical by A. Watts and C. Silvester Information Within The Multi-Sensor Integration System for NATO by H. Roschmann and U. Wacker Environment Perception Process in Maritime by S. Paradis, W. Treurniet and J. Roy Tactical Missions of Transport Aircraft: Crew Workload by H.D. Lerche and F. Mehler Battlefield Helicopters E-3A Mid-Term Command 17 Modernisation 18 19 and Control A Proven Low Level Guidance Concept to Reduce 20 Paper 21 withdrawn Paper 22 withdrawn SESSION V: LESSONS LEARNED AND FUTURE Chairman: Ir A. ALVES-VIEIRA (PO) Utilizing CORBA Concepts for Command by M. Balci and S. Kuru and Control Integrating Voice Recognition and Automatic Collaboration for Air-to-Ground Attack by G. Barbato Target TRENDS 23 Systems Cueing to Improve Aircrew-System 24 Paper 25 withdrawn The Effects of Image Resolution by J. Stiff on the Utility of Target Recognition vi Aids 26 Theme The theme is the effective collaboration between crew and the complex, but not entirely autonomous, systems in the context of multiple information sources such as off-board communications, other platforms and multiple sensors on board platforms. The primai-y componcnts of this theme that merit particular attention are: (a) Characteristics of operational requirements demanding difficult human-system interactions; (b) System design and technology for the fusion of mission-related data, information and knowledge in the context of complex missions involving co-operation against multiple targets; (c) Effective deployment of crew in supervising and interacting with such systems, taking into account cognitive issues including software psychology (addressing human-software interaction). TOPICS a) Characteristics of operational requirements requiring difficult human-system interaction, e.g. group operations; C31 issues; interoperability; uncertainty; survival in battle damage; IFF: consideration of air, sea and land systems. b) Reliance on human operators to perform the fusion task often creates a prohibitively high workload and cari result in an unacceptable reduction in the timeliness of information. This applies particularly to the operation of modem aircraft where one person may be required to assimilate a11the sensor information as well as flying the aircraft and managing other systems. Automating the functions of fusion and sensor management offers a potential solution to these workload and timeliness difficulties. c) New concepts and improving techniques in the integration of crew with complex systems, including: solution of cognitive issues; model-based reasoning for human advisory systems; the psychology of human interaction with complex software systems; virtual reality; de-cluttering in information presentation; the multi-media cockpit including headmounted, head-up and head-down displays, voice input and output; autonomous machine Vs human-assisted machine; interactions and transitions between system autonomy and human interaction; situation awareness; representation of the human operator for modelling. Thème Cette réunion a pour thème la collaboration effective entre des équipages et des systèmes complexes mais non totalement autonomes, dans un contexte de sources multiples d’informations telles que communications terrestres, autres plates-formes et senseurs multiples sur plates-formes. Trois éléments principaux de ce thème méritent une attention particulière à savoir : (a) les caractéristiques des situations opérationnelles impliquant des interactions homme-système difficiles (b) la conception systèmes et les technologies permettant le fusionnement des données de mission, des informations et des connaissances dans le contexte de missions complexes requérant des actions coopératives contre des objectifs, multiples (c) le déploiement efficace des équipages en ce qui concerne la surveillance et l’interaction avec de tels systèmes, compte tenu des questions cognitives y compris la psychologie de l’interaction homme-logiciel. SUJETS a) caractéristiques des situations opérationnelles exigeant des inter actions homme-système difficiles par exemple des opérations de groupe; questions C31; interopérabilité; incertitude; survie après avaries au combat IFF; la prise en compte de systèmes terre, air et mer. b) le recours à des opérateurs humains pour l’exécution de la tâche de fusionnement crée souvent une charge de travail excessivement lourde et risque d’entraîner une dégradation inacceptable dans l’actualisation des informations. Ceci vaut à plus forte raison pour le pilotage de l’avion de combat moderne où, dans certains cas, un seul homme doit assimiler l’ensemble des informations fourmes par les senseurs, piloter l’avion et gérer d’autres systèmes en même temps. L’automatisation des fonctions de fusionnement et de gestion des senseurs offre une solution possible à ces problèmes de charge de travail et d’actualisation. c) l’application de concepts nouveaux et l’amélioration des techniques d’intégration des équipages aux systèmes complexes, y compris la résolution de problèmes cognitifs; le raisonnement à partir de modèles pour des systèmes-conseil; la psychologie de l’interaction homme/logiciels complexes; la réalité virtuelle; l’élimination sélective dans la présentation des informations; le poste de pilotage multimédia y compris les viseurs de casque et les représentations tête haute et tête basse, les entrées et les sorties vocales; la machine autonome contre la machine assistée par l’homme; les interactions et transitions entre le système autonome et l’interaction humaine; l’appréciation de la situation; la représentation de l’opérateur humain pour la modélisation. Systems Concepts and Integration CHAIRMAN: DEPUTY CHAIRMAN Dr E STEAR The Boeing Company PO Box 3999 Mail Stop 85-93 SEATTLE, WA 98 124-2499 UNITED STATES Prof L M B da COSTA CAMPOS Instituto Superior Tecnico Torre-60 Piso Avenida Rovisco Pais 1096 LISBON CEDEX, PORTUGAL TECHNICAL PROGRAMME CHAIRMAN: Dr G REID UK MEMBERS: Mr J B SENNEVILLE Mr P SERGENT Dr-Ing U KROGMANN Dr-Ing L CROVELLA Dr P SANZ-ARANGUEZ MR R CAMPBELL FR FR GE IT SP us Panel COMMITTEE PANEL EXECUTIVE From Europe: From the USA or CANADA: AGARD-OTAN LTC T ROBERTS, USA SC1 Executive 7 Rue Ancelle F-92200 NEUILLY-SUR-SEINE, FRANCE AGARD-NATO Attention: SC1 Executive PSC 116 APO AE 09777 Telephone: 33-1-5561 2270182 - Telefax: 33-1-5561 2298199 HOST NATION LOCAL COORDINATOR Dr J LAVIGNE Devonshire Building National Defense Headquarters OTTAWA, ONTARIO KlA OK2 Tel: (1) 613 995 2192 FAX: (1) 613 996 5177 ACKNOWLEDGEMENTS/REMERCIEMENTS The Panel wishes to express its thanks to the Canadian RTB members to RTA for the invitation in Ottawa and for the facilities and personnel which made the Symposium possible. to hold this Symposium Le Panel tient a remercier les membres du RTB du Canada aupres de la RTA de leur invitation Ottawa, ainsi que pour les installations et le personnel mis B sa disposition. a tenir cette reunion .. . WI a REPORT 1. Recipient’s Reference 2. Originator’s DOCUMENTATION 3. Further References RTO-MP-12 AC/323(SCI)TP/4 5. Originator ISBN PAGE Reference 92-837-1010-X Research and Technology Organization North Atlantic Treaty Organization BP 25, 7 rue Ancelle, F-92201 Neuilly-sur-Seine 4. Security Classification of Document UNCLASSIFIED/ UNLIMITED Cedex, France 6. Title Sensor Data Fusion and Integration 7. Presented at/sponsored of the Human Element by the System Concepts and Integration 14-17 September 1998. Symposium held in Ottawa, Canada, 9. Date 8. Author(s)/Editor(s) Multiple 10. Author’sEditor’s February 11. Pages Address Multiple 12. Distribution 1999 244 Statement There are no restrictions on the distribution of this document. Information about the availability of this and other RTO unclassified publications is given on the back cover. 13. Keywords/Descriptors Man computer interface Systems engineering Algorithms Image processing Data displays Command and control Target recognition Cognition Data fusion Multisensors Operators (personnel) Decision making Human factors engineering Artificial intelligence Man machine systems Cockpits Integrated systems 14. Abstract This volume contains the Technical Evaluation Report, the Opening Address, the Keynote Address and the 20 unclassified papers, presented at the Systems Concepts and Integration (SCI) Panel Symposium held in Ottawa, Canada from 14th to 17th September 1998. The papers presented covered the following l Characteristics of Operational Requirements l System Design Techniques l Integration l System Applications l Lessons Learned and Future Trends of Human headings: and Technologies Operators with Complex Systems NORTH ATLANTIC RESEARCH AND TREATY TECHNOI,OGY BP 25.7 F-92201 ORGANIZATION RUE ORGANIZATION ANCELLE NEUILLY-SUR-SEINE Télécopie 0(1)55.61.22.99 CEDEX l Télex DIFFUSION l FRANCE RT0 DES PUBLICATIONS NON CLASSIFIEES 610 176 L’Organisation pour la recherche et la technologie de I’OTAN (RTO), détient un stock limité de certaines de ses publications récentes, ainsi que de celles de l’ancien AGARD (Groupe consultatif pour la recherche et les réalisations aérospatiales de I’OTAN). Celles-ci pourront éventuellement être obtenues sous forme de copie papier. Pour de plus amples renseignements concernant l’achat de ces ouvrages, adressez-vous par lettre ou par télécopie à l’adresse indiquée ci-dessus. Veuillez ne pas téléphoner. Des exemplaires supplémentaires peuvent parfois être obtenus auprès des centres nationaux de distribution indiqués ci-dessous. Si vous souhaitez recevoir toutes les publications de la RTO, ou simplement celles qui concernent certains Panels, vous pouvez demander d’être inclus sur la liste d’envoi de l’un de ces centres. Les publications de la RT0 et de I’AGARD sont en vente auprès des agences de vente indiquées ci-dessous, sous forme de photocopie OU de microfiche. Certains originaux peuvent également être obtenus auprès de CASI. CENTRES DE DIFFUSION NATIONAUX ISLANDE ALLEMAGNE Director of Aviation Fachinformationszentrum Karlsruhe D-76344 Eggenstein-Leopoldshafen 2 c/o Flugrad Reykjavik BELGIQUE Coordinateur RT0 - VSL/RTO ITALIE Etat-Major de la Force Aérienne Aeronautica Militare Ufficio Stralcio RTOIAGARD Quartier Reine Elisabeth Aeroporto Pratica di Mare Rue d’Evere, B-l 140 Bruxelles 00040 Pomezia (Roma) CANADA LUXEMBOURG Directeur - Gestion de l’information (Recherche et développement) - DRDGI 3 Voir Belgique Ministère de la Défense nationale NORVEGE Ottawa, Ontario KlA OK2 Norwegian Defence Research Establishment Attn: Biblioteket DANEMARK P.O. Box 25 Danish Defence Research Establishment N-2007 Kjeller Ryvangs Allé 1 P.O. Box 2715 PAYS-BAS DK-2100 Copenhagen 0 NDRCC DGM/DWOO ESPAGNE P.O. Box 20701 INTA (RTOIAGARD Publications) 2500 ES Den Haag Carretera de Torrejon a Ajalvir, Pk.4 28850 Torrejon de Ardoz - Madrid PORTUGAL Estado Maior da Força Aérea ETATS-UNIS SDFA - Centro de DocumentaçZo NASA Center for AeroSpace Information (CASH Alfragide Parkway Center, 7121 Standard Drive P-2720 Amadora Hanover, MD 21076-1320 ROYAUME-UNI FRANCE Defence Research Information Centre O.N.E.R.A. (Direction) Kentigem House 29, Avenue de la Division Leclerc 65 Brown Street 92322 Châtillon Cedex Glasgow G2 8EX GRECE TURQUIE Hellenic Air Force Millî Savunma Baskanligi (MSB) Air War College ARGE Dairesi Baskanligi (MSB) Scientific and Technical Library 06650 Bakanliklar - Ankara Dekelia Air Force Base Dekelia, Athens TGA 1010 AGENCES DE VENTE NASA Center for AeroSpace The British Library Document Canada Institute for Scientific and Supply Centre Technical Information (CISTI) Information (CASI) Parkway Center Boston Spa, Wetherby National Research Council West Yorkshire LS23 7BQ Document Delivery, 7121 Standard Drive Hanover, MD 2 lO76- 1320 Royaume-Uni Montreal Road, Building M-55 Ottawa KlA OS2 Etats-Unis Canada Les demandes de documents RT0 ou AGARD doivent comporter la dénomination “RTO” ou “AGARD” selon le cas, suivie du numéro de série (par exemple AGARD-AG-315). Des informations analogues, telles que le titre et la date de publication sont souhaitables, Des références bibliographiques complètes ainsi que des résumés des publications RT0 et AGARD figurent dans les journaux suivants: Government Reports Announcements & Index (GRA&I) Scientific and Technical Aerospace Reports (STAR) publié par le National Technical Information Service STAR peut être consulté en ligne au localisateur de Springfield ressources uniformes (URL) suivant: Virginia 2216 http://www.sti.nasa.gov/Pubs/star/Star.html Etats-Unis STAR est édité par CAS.1 dans le cadre du programme (accessible également en mode interactif dans la base de NASA d’information scientifique et technique (STI) données bibliographiques en ligne du NTIS, et sur CD-ROM) ST1 Program Office, MS 157A NASA Langley Research Center Hampton, Virginia 23681-0001 Etats-Unis Imprimé par le Groupe Communication Canada Inc. (membre de la Corporation St-Joseph) 45, boul. Sacré-Cœur, Hull (Québec), Canada KIA OS7 NORTH ATLANTIC RESEARCH AND TREATY TECHNOLOGY BP 25 F-92201 ORGANIZATION l 7 RUE ORGANIZATION ANCELLE NEUILLY-SW-SEINE Telefax 0(1)55.61.22.99 CEDEX l Telex l FRANCE DISTRIBUTION RTO OF UNCLASSIFIED PUBLICATIONS 610 176 NATO’s Research and Technology Organization (RTO) holds limited quantities of some of its recent publications and those of the former AGARD (Advisory Group for Aerospace Research & Development of NATO), and these may be available for purchase in hard copy form. For more information, write or send a telefax to the address given above. Please do not telephone. Further copies are sometimes available from the National Distribution Centres listed below. If you wish to receive all RTO publications, or just those relating to one or more specific RTO Panels, they may be willing to include you (or your organisation) in their distribution. RTO and ACARD publications may be purchased from the Sales Agencies listed below, in photocopy or microfiche form. Original copies of some publications may be available from CASI. NATIONAL DISTRIBUTION CENTRES LUXEMBOURG BELGIUM See Belgium Coordinateur RTO - VSL/RTO Etat-Major de la Force Adrienne NETHERLANDS Quartier Reine Elisabeth NDRCC Rue d’Evere, B-l 140 Bruxelles DGIWDWOO CANADA P.O. Box 20701 Director Research & Development 2500 ES Den Haag Information Management - DRDIM 3 NORWAY Dept of National Defence Norwegian Defence Research Establishment Ottawa, Ontario KIA OK2 Attn: Biblioteket DENMARK P.O. Box 25 Danish Defence Research Establishment N-2007 Kjeller Ryvangs Alit 1 P.O. Box 2715 PORTUGAL DK-2100 Copenhagen 0 Estado Maior da ForCa Atrea SDFA - Centro de Documenta@o FRANCE Alfragide O.N.E.R.A. (Direction) P-2720 Amadora 29 Avenue de la Division Leclerc 92322 Chatillon Cedex SPAIN GERMANY INTA (RTO/AGARD Publications) Fachinformationszentrum Karlsruhe Carretera de Torrejon a Ajalvir, Pk.4 D-76344 Eggenstein-Leopoldshafen 2 28850 Torrejon de Ardoz - Madrid GREECE TURKEY Hellenic Air Force Milli Savunma Bavkanligi (MSB) Air War College ARGE Dairesi Baqkanligi (MSB) Scientific and Technical Library 06650 Bakanliklar - Ankara Dekelia Air Force Base Dekelia, Athens TGA 1010 UNITED KINGDOM Defence Research Information Centre ICELAND Kentigem House Director of Aviation 65 Brown Street c/o Flugrad Glasgow G2 8EX Reykjavik ITALY UNITED STATES Aeronautica Militare NASA Center for Aerospace Information (CASI) Ufficio Stralcio RTO/AGARD Parkway Center, 7121 Standard Drive Aeroporto Pratica di Mare Hanover, MD 2 1076-1320 00040 Pomezia (Roma) SALES AGENCIES The British Library Document Canada Institute for Scientific and NASA Center for Aerospace Supply Centre Technical Information (CISTI) Information (CASI) Boston Spa, Wetherby National Research Council Parkway Center West Yorkshire LS23 7BQ Document Delivery, 7121 Standard Drive United Kingdom Montreal Road, Building M-55 Hanover, MD 2 1076- 1320 Ottawa KlA OS2 United States Canada Requests for RTO or AGARD documents should include the word ‘RTO’ or ‘AGARD’, as appropriate, followed by the serial number (for example AGARD-AG-315). Collateral information such as title and publication date is desirable. Full bibliographical references and abstracts of RTO and AGARD publications are given in the following journals: Government Reports Announcements & Index (GRA&I) Scientific and Technical Aerospace Reports (STAR) published by the National Technical Information Service STAR is available on-line at the following uniform Springfield resource locator: Virginia 22161 http:Nwww.sti.nasa.gov/Pubs/star/Star.html United States STAR is published by CASI for the NASA Scientific (also available online in the NTIS Bibliographic and Technical Information (STI) Program Database or on CD-ROM) ST1 Program Office, MS 157A NASA Langley Research Center Hampton, Virginia 2368 l-0001 United States m Printed by CanadaCommunicationGroup Inc. (A St. JosephCorporation Company) 45 Sacre’-CozurBlvd., Hull (QuPbec),CanadaKIA OS7 ISBN 92-837-1010-X