简介：多视角子宇宙研习（Multiview subspace learning, MSL）已广泛应用于各种实际应用，包括情绪识别。尽管 MSL 取得许多进展，仍有两个挑战需要解决。首先，大多数现有的 MSL 方法不加区别地利用了差异的视角。其次，现有的方法多是线性方法，在具有弱线性可分性的情感数字集上成果并不显著。因此，在本研发中，我们引入了一个新的情感识别框架：多视角非线性判别结构研习。
文章标题：Multiview nonlinear discriminant structure learning for emotion recognition
来源：Knowledge-Based Systems 2022
作者：Shuai Guo, Li Song, Rong Xie, Lin Li and Shenglan Liu
文章链接：https://www.sciencedirect.com/science/article/pii/S0950705122011352
引言
多视角研习的目的是整合利用各个视角的资讯，使得各个视角之间互相补充，得到比任一单一视角更好的成果，这里的视角可以指对同一样本从差异数字源得到的数字，可以是差异特征提取方式得到的特征，等等。现有的以识别为目的的多视角研习方法大多是线性方法，在线性不可分的数字如情绪数字上成果并不显著。而且现有方法大致可分为基于判别性的方法和基于局部性的方法，判别性期望以类别区分样本，局部性期望维持样本局部关系，鲜有将二者结合起来的方法。多视角子宇宙研习（MSL）是多视角研习中研发最多的一类方法，目的是为各个视角的样本搜寻一个公共子宇宙，并且得到各个样本在公共子宇宙中的投影。针对识别任务，本文提出一种非线性MSL方法，将二者结合，通过局部资讯保存和判别，利用每个输入视角中的有用资讯重建特征，并使用多视角度判别方法取得多个视角的公共潜在子宇宙。此外，还引入了样本外扩展方法以满足要求并取得新样本在子宇宙的投影。下图是本文方法的总体思路。
基于局部守护与判别的特征重构
在得到每个输入视角的特征后，本文首先对特征进行重构以去除无效资讯。方法是对每个样本及其若干个近邻范围内，通过最小化每个视角同类样本之间距离的同时最大化非同类样本间的特征，尽量使重构之后的类内样本距离仍然对比近，而类间样本的距离散开，并且降低离散点的影响，如下图所示。
该问题被归结为完善问题：
多视角判别子宇宙研习
然后是将多个视角的特征进行融合的过程。目的仍然是在子宇宙中使得同类样本距离较近，非同类样本距离较远。为了保存更多的局部近邻关系且维持判别性，我们使用差异的方式度量同类和非同类样本之前的权重，基于非线性的拉普拉斯特征映射的框架，期望使得在一定的局部范围内，对所有视角的所有样本在子宇宙中都能实现同类样本距离更近，非同类样本距离更远。由于非同一视角的样本特征维度可能不一样，本文提出基于全局权重向量来衡量二者之间的距离。与此同时，还采用非相关约束来提高模型成果。模型的完善和求解过程采用迭代法。整体思路如下图所示。
在子宇宙的第一个维度（主成分）上，该问题归结为：
其中 D 是拉普拉斯矩阵计算得到的度矩阵。这个问题可以基于主成分的解和算术归纳法得到解决。文中也介绍了不放宽约束条件时的迭代法求解步骤。
样本外扩展
由于本方法是非线性方法，无法像习俗线性方法一样，使用显性映射关系将新样本映射到子宇宙中，因此本文提出样本外扩展方法来进行这个过程。主要思路是搜寻每个新样本在重构特征之后的对应视角的样本分布中的近邻关系，然后求解近邻关系，认为新样本在原始宇宙和子宇宙中都应该等于这些近邻使用同一组权重关系进行组合的结果。思路如下图所示。
通过考虑视角内和视角间的差异情况，该问题在文章中归结为：
试验
本文在 KDEF 等情绪数字集上进行了试验，设置了多传感器、多姿态、多特征三个多视角研习任务，试验结果表明本方法相比于同类方法有更好的识别成果和鲁棒性。
在子宇宙维度和训练集比例变化时，本方法成果也更稳定：
著作权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供资讯存储宇宙劳务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违规违规的内容， 请发送电邮至1393616908@qq.com 举报，一经查实，本站将立刻删除。
