跨模态深度学习(Cross-modal deep learning),理学-计算机科学技术-计算机应用-多媒体计算-多媒体技术-多媒体内容分析和理解-跨模态内容分析,能够在不同模态数据上进行学习,实现跨模态关联的深度学习方法。从数据的角度来说,模态指的是数据的表征形式。比如,文本、图像和音频等都是数据的不同模态。而跨模态深度学习指的是深度学习模型能够在给定的具有多个模态的数据集的前提下,学习不同模态之间的内涵关系,从而得到不同模态之间的关联关系或者映射关系。其本质是学习不同模态数据之间的非线性映射关系或者表征。通过跨模态深度学习方法可以实现跨多模态内容分析或者跨模态多媒体检索等,比如,生成图像或者视频的文本描述、使用图像检索文本等。