多模态信息

多模态信息（multimodal information），管理学-管理科学与工程-信息管理与信息系统-信息管理-信息采集-多模态信息，采用多种模态描述同一信息的存在形式。其中术语“模态”是指特定物理媒介上信息的表示及交换方式，如文本、听觉、语言、空间和视觉等方式。共生或共现的多种单模态信息的统称，即多模态信息。多模态（multimodality）的概念起源于计算机人机交互领域信息表示方式的研究。人们研究发现，用语言、视频、音频等媒体指称来描述信息表示方式过于宽泛，粒度太大，不足以区分实际采用的表示方法，因此引入了比媒体（或媒介）更加细粒度的“模态”的概念。相对于单模态信息，多模态信息突破时空局限、增加信息描述维度，更加系统全面。多模态信息的研究包括多模态信息的建模、获取、语义分析、情感识别、检索、多模态人机对话等。多媒体信息处理的关键技术有多模态融合方法、多模态深度学习、多模态语义表示等。随着移动智能终端、可穿戴设备、物联网的普及，人机交互的信息从传统的文字、声音、影像，发展到位置、重力加速度、睡眠、运动等人体信息，产生越来越多的单模态信息共生共现的需要。