АНАЛИЗ СТРАТЕГИЙ И МЕТОДОВ ОБЪЕДИНЕНИЯ МНОГОМОДАЛЬНОЙ ИНФОРМАЦИИ
Постановка проблемы: в области искусственного интеллекта при проектировании многомодальных инфокомму-
никационных систем и человеко-машинных интерфейсов крайне актуальны вопросы объединения разнородной ин-
формации (текстовой, акустической, визуальной и иных типов), поступающей как от пользователей, так и к ним по раз-
личным входным и выходным каналам коммуникации. Основная проблема при разработке и использовании многомо-
дальных инфокоммуникационных систем заключается в том, что для них необходимы эффективные и надежные методы
и технологии автоматического распознавания сигналов от каждой модальности, а также многомодального объединения
информации и принятия решений. Цель: аналитический обзор научных методологических основ построения интеллекту-
альных инфокоммуникационных систем, опирающихся на многомодальные человеко-машинные интерфейсы. Резуль-
таты: представлен широкий спектр современной научно-технической литературы, описывающей результаты мировых
научных исследований по данной теме за последнее десятилетие. Комплексный анализ существующих стратегий и ма-
тематических методов обработки и интеграции многомодальной информации (на основе раннего, позднего и гибридно-
го подходов к объединению), учета взаимной корреляции и синхронизации модальностей показал, что для большинства
прикладных задач разработаны адекватные и эффективные способы объединения и разделения модальностей, которые
должны грамотно применяться на этапе проектирования интеллектуальных систем
Авторы
Тэги
Тематические рубрики
Предметные рубрики
В этом же номере:
Резюме по документу**
О. О. Басова, канд. техн. наук, докторант
никационных систем и человеко-машинных интерфейсов крайне актуальны вопросы объединения разнородной информации
(текстовой, акустической, визуальной и иных типов), поступающей как от пользователей, так и к ним по различным
входным и выходным каналам коммуникации. <...> Основная проблема при разработке и использовании многомодальных
инфокоммуникационных систем заключается в том, что для них необходимы эффективные и надежные методы
и технологии автоматического распознавания сигналов от каждой модальности, а также многомодального объединения
информации и принятия решений. <...> Цель: аналитический обзор научных методологических основ построения интеллектуальных
инфокоммуникационных систем, опирающихся на многомодальные человеко-машинные интерфейсы. <...> Комплексный анализ существующих стратегий и математических
методов обработки и интеграции многомодальной информации (на основе раннего, позднего и гибридного
подходов к объединению), учета взаимной корреляции и синхронизации модальностей показал, что для большинства
прикладных задач разработаны адекватные и эффективные способы объединения и разделения модальностей, которые
должны грамотно применяться на этапе проектирования интеллектуальных систем. <...> Ключевые слова — инфокоммуникационная система, многомодальные интерфейсы, объединение и синхронизация
модальностей, взаимная корреляция. <...> Основная проблема при их разработке связана
с тем, что использование многомодального взаимодействия
(multimodal interaction) человека
с компьютером требует надежных методов распознавания
сигналов от каждой модальности (канала
передачи информации), а также эффективных
способов объединения информации (information
fusion) и принятия решений. <...> Указанные
обстоятельства обусловливают необходимость
анализа стратегий и методов объединения входных
и выходных потоков информации. <...> 2, 2015
Стратегии объединения модальностей
Объединение <...>
** - вычисляется автоматически, возможны погрешности
Похожие документы: