Detail projektu

Multi Modal Meeting Manager

Období řešení: 1. 3. 2002 - 28. 2. 2005

Typ projektu: grant

Kód: IST-2001-34485

Agentura: European Commission Directorate General Information Society Unit D4 - Human Language Technologies

Program:

Název česky
Multi Modal Meeting Manager
Typ
grant
Abstrakt

Cílem projektu M4 "Multimodal meeting manager" je vyvinout systém pro analýzu a záznam živých jednání. Účastníci jednání budou snímáni mikrofony a kamerami. Jejich řeč a gesta budou automaticky rozpoznána a indexována pro snadnou orientaci a hledání v záznamu. Uživatel pak bude moci například položit systému otázku "Kdy mluvil pan X o tématu Y" a systém automaticky vyhledá příslušné sekvence. FIT VUT Brno bude pracovat na nových metodách rozpoznávání specifických částí řeči, které bude nezávislé na jazyku jednání. Dalším úkolem bude určení mluvčího pomocí analýzy gest a jeho sledování otočnou kamerou.

Řešitelé
Heřmanský Hynek, prof. Ing., Dr.Eng. (UPGM FIT VUT) , hlavní řešitel
Černocký Jan, prof. Dr. Ing. (UPGM FIT VUT) , spoluřešitel
Zemčík Pavel, prof. Dr. Ing. (UPGM FIT VUT) , spoluřešitel
Publikace

2005

  • SZŐKE Igor, SCHWARZ Petr, BURGET Lukáš, KARAFIÁT Martin a ČERNOCKÝ Jan. Phoneme based acoustics keyword spotting in informal continuous speech. In: Radioelektronika 2005. Brno: Fakulta elektrotechniky a komunikačních technologií VUT v Brně, 2005, s. 195-198. ISBN 80-214-2904-6. Detail
  • MOTLÍČEK Petr, BURGET Lukáš a ČERNOCKÝ Jan. VISUAL FEATURES FOR MULTIMODAL SPEECH RECOGNITION. In: Radioelektronika 2005. Brno: Fakulta elektrotechniky a komunikačních technologií VUT v Brně, 2005, s. 187-190. ISBN 80-214-2904-6. Detail

2004

  • KARAFIÁT Martin, GRÉZL František a BURGET Lukáš. Combination of MFCC and TRAP features for LVCSR of meeting data. Martigny, 2004. Detail
  • BURGET Lukáš. Combination of Speech Features Using Smoothed Heteroscedastic Linear Discriminant Analysis. In: Proc. 8th International Conference on Spoken Language Processing. Jeju island: Sunjin Printing Co,, 2004, s. 2549-2552. Detail
  • GRÉZL František. Combinations of TRAP based systems. In: Proc. Seventh International conference on Text, Speech and Dialogue. Brno: Fakulta informatiky MU, 2004, s. 323-330. ISBN 3-540-23049-1. Detail
  • POTÚČEK Igor, RIGOLL Gerhard, WALLHOFF Frank a ZOBL Martin. Dynamic Tracking in Meeting Room Scenarios Using Omnidirectional View. In: 17th International Conference on Pattern Recognition (ICPR 2004). Cambridge: IEEE Computer Society, 2004, s. 933-936. ISBN 0-7695-2128-2. Detail
  • POTÚČEK Igor a ŠPANĚL Michal. Face Detection in Meeting Room Using Omni-directional View. In: AMI/PASCAL/IM2/M4 workshop. Martigny: Insititut Dalle Molle d'Intelligence Artificielle Perceptive, 2004, s. 1-1. Detail
  • KADLEC Jaroslav. Lip detection in low resolution images. In: Proceeding of the 10th Conference and Competition STUDENT EEICT 2004, Volume 2. Brno, 2004, s. 303-306. ISBN 80-214-2635-7. Detail
  • BURGET Lukáš. Measurement of Complementarity of Recognition Systems. In: Proc. Seventh International conference on Text, Speech and Dialogue. Lecture Notes in Artificial Intelligence (LNAI) subseries of LNCS series as Volume 3206. Brno: Springer Verlag, 2004, s. 283-290. ISBN 3-540-23049-1. Detail
  • JENDERKA Petr, POTÚČEK Igor a SUMEC Stanislav. Meeting recordings at Brno University of Technology. In: AMI/PASCAL/IM2/M4 workshop. Martigny, 2004, s. 3. Detail
  • SUMEC Stanislav. Multi Camera Automatic Video Editing. In: Proceedings of ICCVG 2004. Warsaw: Kluwer Verlag, 2004, s. 935-945. ISBN 1-4020-1503-8. Detail
  • SUMEC Stanislav. Multi View Person Localization. In: Proceedings of the 10th Conference and Competition STUDENT EEICT 2004. Brno: Vysoké učení technické v Brně, 2004, s. 5. ISBN 80-214-2635-7. Detail
  • MOTLÍČEK Petr a ČERNOCKÝ Jan. Multimodal Phoneme Recognition of Meeting Data. In: 7th International Conference, TSD 2004 Brno, Czech Republic, September 2004 Proceedings. Brno: Springer Verlag, 2004, s. 379-384. ISBN 3-540-23049-1. ISSN 0302-9743. Detail
  • MOTLÍČEK Petr a ČERNOCKÝ Jan. Multimodal Phoneme Recognition of Meeting Data. Lecture Notes in Computer Science, roč. 2004, č. 3206, s. 6. ISSN 0302-9743. Detail
  • FOUSEK Petr, SVOJANOVSKÝ Petr, GRÉZL František a HEŘMANSKÝ Hynek. New Nonsense Syllables Database - Analyses and Preliminary ASR Experiments. In: Proc. 8th International Conference on Spoken Language Processing. Jeju Island: Sunjin Printing Co,, 2004, s. 348-351. ISSN 1225-4111. Detail
  • POTÚČEK Igor, SUMEC Stanislav a ŠPANĚL Michal. Participant activity detection by hands and face movement tracking in the meeting room. In: 2004 Computer Graphics International (CGI 2004). Los Alamitos: IEEE Computer Society, 2004, s. 632-635. ISBN 0-7695-2717-1. Detail
  • ZEMČÍK Pavel, HEROUT Adam, BRYAN Luděk, TUPEC Pavel a FUČÍK Otto. Particle rendering pipeline in DSP and FPGA. In: Proceedings of Engineering of Computer-Based Systems. Los Alamitos: IEEE Computer Society, 2004, s. 361-368. ISBN 0-7695-2125-8. Detail
  • SCHWARZ Petr, MATĚJKA Pavel a ČERNOCKÝ Jan. Phoneme Recognition from a Long Temporal Context. In: poster at JOINT AMI/PASCAL/IM2/M4 Workshop on Multimodal Interaction and Related Machine Learning Algorithms. Martigny: Insititut Dalle Molle d'Intelligence Artificielle Perceptive, 2004, s. 1-1. Detail
  • SUMEC Stanislav. Simulation of Parallel Ray Tracing. In: Proceedings of 38th International Conference MOSIS'04. Ostrava: MARQ, 2004, s. 6. ISBN 80-85988-98. Detail
  • SZŐKE Igor. Speech units automatically generated by ergodic hidden Markov model. In: Proceedings of 10th Conference and Competition STUDENT EEICT 2004. Brno: Fakulta elektrotechniky a komunikačních technologií VUT v Brně, 2004, s. 5. Detail
  • ZEMČÍK Pavel, SUMEC Stanislav, POTÚČEK Igor, ŠPANĚL Michal, HEROUT Adam a PEČIVA Jan. Summary of Image/Video Processing for AMI Project in Brno. In: Poster at MLMI'04 workshop. Martigny: Insititut Dalle Molle d'Intelligence Artificielle Perceptive, 2004, s. 1-1. Detail
  • SCHWARZ Petr, MATĚJKA Pavel a ČERNOCKÝ Jan. Towards Lower Error Rates in Phoneme Recognition. Lecture Notes in Computer Science, roč. 2004, č. 3206, s. 8. ISSN 0302-9743. Detail
  • SCHWARZ Petr, MATĚJKA Pavel a ČERNOCKÝ Jan. Towards Lower Error Rates in Phoneme Recognition. In: Proceedings of 7th International Conference Text,Speech and Dialoque 2004. Brno: Springer Verlag, 2004, s. 8. ISBN 3-540-23049-1. Detail
  • MOTLÍČEK Petr. Visual Feature Extreaction for Phoneme Recognition of Meetings. Brno: Ústav počítačové grafiky a multimédií FIT VUT v Brně, 2004. Detail

2003

  • MOTLÍČEK Petr a ČERNOCKÝ Jan. All-Pole Modeling for Definition of Speech Features in Aurora3 DSR Task. In: 6th International Conference, TSD 2003 České Budějovice, Czech Republic, September 2003 Proceedings. České Budějovice: Západočeská univerzita v Plzni, 2003, s. 295-300. ISBN 3-540-20024-X. ISSN 0302-9743. Detail
  • MOTLÍČEK Petr a ČERNOCKÝ Jan. Autoregressive Modeling based Feature Extraction for Aurora3 DSR Task. In: Proc. EUROSPEECH 2003. Geneva: Insititut Dalle Molle d'Intelligence Artificielle Perceptive, 2003, s. 1801-1804. ISSN 1018-4074. Detail
  • MOTLÍČEK Petr. Derivation of TRAPs in Auditory Domain. In: Proceedings of 9th Conference and Competition STUDENT EEICT 2003. Brno: Děkanát FEKT VUT, 2003, s. 598-602. ISBN 80-214-2379-X. Detail
  • MOTLÍČEK Petr. Derivation of TRAPs in Auditory Domain. In: Proceedings of the International Conference and Competition. Brno: Fakulta elektrotechniky a komunikačních technologií VUT v Brně, 2003, s. 315-319. ISBN 80-214-2401-X. Detail
  • GRÉZL František. Effect of normalization on TRAP based systems in ASR. In: Proc. 13th International scientific conference Radioelektronika 2003. Brno: Ústav radioelektroniky FEKT VUT v Brně, 2003, s. 128-131. ISBN 80-214-2383-8. Detail
  • GRÉZL František. Local Time-Frequency Operators in TRAPs For Speech Recognition. In: 6th International Conference, TSD 2003 České Budějovice, Czech Republic, September 2003 Proceedings. České Budějovice: Západočeská univerzita v Plzni, 2003, s. 269-274. ISBN 3-540-20024-X. ISSN 0302-9743. Detail
  • MOTLÍČEK Petr. Modeling of Spectra and Temporal Trajectories in Speech Processing. In: Sborník příspěvků a prezentací akce Odborné semináře 2003 . REL02V. Brno: Ústav radioelektroniky FEKT VUT v Brně, 2003, s. 28. Detail
  • HEŘMANSKÝ Hynek, MATĚJKA Pavel a SCHWARZ Petr. Použití časové dynamiky k rozpoznávání jazyků z mluvené řeči. In: Proceedings of Language Recognition Workshop 2003. NIST Gaithersburg, MD USA, 2003, s. 56-62. Detail
  • POTÚČEK Igor. Person Tracking Using Omnidirectional View. In: Proceedings of the 9th conference STUDENT EEICT 2003. Brno: Vysoké učení technické v Brně, 2003, s. 603-607. ISBN 80-214-2379. ISSN 0572-3043. Detail
  • MATĚJKA Pavel, SCHWARZ Petr, GRÉZL František a ČERNOCKÝ Jan. Phoneme Classification using Temporal Patterns. In: Proc. 13th International scientific conference Radioelektronika 2003. Brno: Fakulta elektrotechniky a komunikačních technologií VUT v Brně, 2003, s. 1-4. ISBN 80-214-2383-8. Detail
  • MATĚJKA Pavel, SCHWARZ Petr, HEŘMANSKÝ Hynek a ČERNOCKÝ Jan. Phoneme Recognition using Temporal Patterns. In: Proc. 6th International Conference Text, Speech and Dialogue, TSD2003. Ceske Budejovice: Springer Verlag, 2003, s. 465-472. ISBN 3-540-20024-X. Detail
  • SCHWARZ Petr, MATĚJKA Pavel a ČERNOCKÝ Jan. Recognition of Phoneme Strings using TRAP Technique. In: Proceedings of 8th International Conference Eurospeech. Geneve: International Speech Communication Association, 2003, s. 1-4. ISSN 1018-4074. Detail
  • BURGET Lukáš a ČERNOCKÝ Jan. Recognition of Speech with Non-random Attributes. In: 6th International Conference, TSD 2003 České Budějovice, Czech Republic, September 2003 Proceedings. České Budějovice: Springer Verlag, 2003, s. 6. ISBN 3-540-20024-X. ISSN 0302-9743. Detail
  • ČERNOCKÝ Jan. Temporal processing for feature extraction in speech recognition, shortened version of habilitation thesis. Vědecké spisy VUT. Edice Habilitační a inaugurační spisy, sv. 112. Brno: Nakladatelství Vysokého učení technického v Brně VUTIUM, 2003, s. 1-30. ISBN 80-214-2395-1. Detail
  • MOTLÍČEK Petr a ČERNOCKÝ Jan. Time-domain based Temporal Processing with Application of. In: Proc. EUROSPEECH 2003. Geneva: Insititut Dalle Molle d'Intelligence Artificielle Perceptive, 2003, s. 821-824. ISSN 1018-4074. Detail
  • POTÚČEK Igor. Tracking movement objects in sequence pictures. ElectronicsLetters.com, roč. 2003, č. 2, s. 1-15. ISSN 1213-161X. Detail
  • KARAFIÁT Martin a GRÉZL František. Using MATLAB for Analysis of TRAP system. Radioengineering, roč. 2003, č. 4, s. 38-41. ISSN 1210-2512. Detail
  • JENDERKA Petr a VÍCHA Tomáš. Voice Activity Detection in Multimodal Meeting Manager. In: Proceedings of 9th Conference and Competition STUDENT EEICT 2003 Volume 3. Brno: Fakulta elektrotechniky a komunikačních technologií VUT v Brně, 2003, s. 588-592. ISBN 80-214-2379-X. Detail
  • SCHWARZ Petr. Would You Like To Make Your Programs Understand Human Voice?. In: Proceedings of 9th Conference STUDENT EEICT 2003. Brno: Fakulta elektrotechniky a komunikačních technologií VUT v Brně, 2003, s. 231-235. ISBN 80-214-2379-X. Detail

2002

  • ČERNOCKÝ Jan. Temporal processing for feature extraction in speech recognition, habilitation thesis. Brno, 2002. Detail
Produkty

2005

  • AMI Rozpoznávač spojité řeči s velkým slovníkem, software, 2005
    Autoři: Burget Lukáš, Hain Thomas, Karafiát Martin Detail

2004

  • Mobilní meeting room, prototyp, 2004
    Autoři: Černocký Jan, Chalupníček Kamil, Kadlec Jaroslav, Potúček Igor, Sumec Stanislav, Zemčík Pavel Detail
Nahoru