近日，电影学院刘昆宏教授团队在计算机人工智能国际会议INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI 2022)发表论文《CTL-MTNet: A Novel CapsNet and Transfer Learning-Based Mixed Task Net for Single-Corpus and Cross-Corpus Speech Emotion Recognition》。

论文提出了一种基于胶囊网络和迁移学习的混合任务网络，可以同时处理单语料库和跨语料库的语音情感识别任务。现阶段语音情感识别在人机交互领域是一个热门且具有挑战性的研究课题，它的一个重要挑战是从不同的语言或说话者中提取共同的音频情感属性，从而基于已有的语料库构建模型实现未知语料数据的情感识别。

为应对这一挑战，本文通过在胶囊网络中嵌入自注意机制，设计了卷积-池化和注意力胶囊模块的组合，可以通过关注输入不同胶囊的重要特征来增强高阶特征的判别能力。此外，为处理跨语料库的任务，本文提出了一个语料库适应对抗模块，在卷积-池化和注意力胶囊模块融入间隔差异散度，提取强情感共性特征，有效增强域不变情感表征。论文使用四种著名的语音情感识别数据集，进行单语料库和跨语料库任务的实验。基于包括消融实验和可视化分析，有效验证了在这两项任务中，本文提出的方法与一些最先进的方法相比，在所有情况下都显示了更好的性能。

上述工作由刘昆宏教授及其团队成员2018级本科生文昕成、叶嘉鑫、罗妍、王煊泽、吴昌鲡，与福建工程学院徐永教授合作完成。刘昆宏教授为通讯作者，本科生文昕成、叶嘉鑫为共同第一作者。

本研究工作得到国家自然科学基金(基金号61772023)，国家重点研发计划(No. 2019QY1803)，福建省科技计划高校产学研合作项目（编号：2021H6015），福建省社会科学规划项目（编号：FJ2020B062）和福建省阳光慈善公益基金会的资助。

IJCAI被中国计算机学会认定为A类会议。本次IJCAI 2022一共收到4535篇论文提交，最终录取比例为15%。

【责任编辑：陈晨】