搞学术研究一定别害怕假定

文中创作者王晋东不在家，文中原载于知乎专栏——设备有颗矫情。AI 研习社已得到 转截受权。王晋东 (不在家)，中国科学院计算技术研究所博士研究生，现阶段研究内容为深度学习、迁移学习、人工智能技术等。

以前梳理汇总迁移学习材料的情况下有网民评价，疏忽就是目前的相近资料大全的物品早已太多了，想更深层次地掌握特殊的关键点。从本文刚开始我将以《小王爱迁移》之名写一系列的详细介绍剖析性的文章内容，与大伙儿共享资源迁移学习中的象征性方式、基础理论与自身的感受。因为我的水准比较有限，请诸位多多的发表意见，我们一起发展。今日第一篇务必以我非常钟爱的杨强教师的象征性方式 TCA 为主题风格！（我的第一篇文章内容也是根据 TCA 做的）

【刚刚梳理调用好的加快版 TCA 编码（matlab）：http://t.cn/RazheBv】

难题情况

深度学习中有一类十分合理的方式称为特征提取（dimensionality reduction），用简单的话而言便是，把原先很高维度的数据信息（例如数据信息有 1000 两列）用非常少的一些象征性层面来表明（例如 1000 多维用 100 维来表明）而不遗失重要的数据信息。这种特征提取方式各种各样，例如：主成分分析法（PCA，principal component analysis）、部分线形置入（LLE,locally linear embedding）、拉普拉斯特点投射（Laplacian eigen-map）等。这种方式的全过程大致全是一个大的引流矩阵做为键入，随后輸出一个小引流矩阵。那麼在迁移学习中，有木有那样的方式，根据特征提取来做到数据信息层面降低，并且能做到迁移学习目地呢？回答是显而易见的，便是大家说起的转移化学成分分析（TCA，transfer component analysis）。看，姓名就跟 PCA 很像。

TCA 最开始是由香港科技大学杨强专家教授精英团队明确提出，初次出現在 AAAI-09 上，之后梳理丰富多彩变成一篇期刊文章，发布在 11 年的 IEEE Trans. Neural Network（如今这一刊物姓名后边多了 and Learning System）上。这一方式是迁移学习行业经典性的文章内容，从 2011 年到现在贴近 6 年以往，在 Google scholar 上引入量为 569 次，而且在稳步增长。

介绍

TCA 归属于根据特点的迁移学习方式。那麼，它干了一件啥事呢？用通俗化的語言而言，跟 PCA 很像：PCA 是一个大引流矩阵进来，一个小引流矩阵出去，TCA 呢，是2个大引流矩阵进来，2个小引流矩阵出去。从学术研究视角讲，TCA 对于 domain adaptation 难题中，源域和总体目标域处在不一样数据分布时，将2个行业的数据信息一起投射到一个高维空间的再造核希尔伯特变换室内空间。在这里室内空间中，降到最低源和总体目标的数据信息间距，另外较大 水平地保存他们分别的內部特性。形象化地了解便是，在如今这一层面上不太好降到最低他们的间距，那麼我也找一个投射，在投射后的室内空间上让他们最贴近，那麼我不会就可以开展归类了没有？

我一直注重，一切难题都需看它的实质，TCA 实质是什么呢？进行迁移学习的规定。迁移学习的规定是什么呢？让源域和总体目标域间距尽量小呗。

方式

有许多种方式都会尝试减少源域和总体目标域的间距，那麼，TCA 的奉献在哪儿？以我的了解，TCA 将这一测算间距的方式越来越通用性而简易，这就是它较大 的奉献。下边我愿自身的了解详细介绍 TCA 方式的基础步骤。

假定

一切方式都根据一定的假定。胡适说过，胆大假定，当心证实。可是他那个时候沒有电子计算机，大家搞电子计算机的人则是，胆大假定，更胆大证实。为什么？大家即使失败了也没什么嘛，数最多把电脑上搞崩溃了我再重做系统么。因此 ，搞学术研究一定别害怕假定。假定是学术研究取得成功的基础呢！

TCA 的假定是什么呢？非常简单：源域和总体目标域的边缘分布是不一样的，换句话说，，因此 不可以立即用传统式的深度学习方式。可是呢，TCA 假定存有一个特点投射 $phi$，促使投射后数据信息的遍布，更进一步，标准遍布。我觉得就可以了么。好啦，大家如今的总体目标是，寻找这一适合的 $phi$，一作投射，这件事情就解决了。

实际

可是世界上无限个那样的，或许终大家一生也无法找到那样的。庄子说过，吾生也有涯，而知也无际，以有涯随无际，殆已！大家毫无疑问不可以根据穷举法的方式来找的。那麼怎么办呢？

返回转移学习的本质上去：降到最低源域和总体目标域的间距。好啦，大家是否可以使先假定这个是已经知道的，随后去求间距，看一下能发布什么？

更进一步，这一间距怎么计算？世界上许多间距，从欧氏距离到马氏距离，从曼哈顿距离到余弦相似度，大家需要什么间距呢？TCA 运用了一个經典的也算作较为 “高档” 的间距称为较大 平均值差别（MMD，maximum mean discrepancy）。这一间距的公式计算以下：

看见很高档（事实上也很高档）。MMD 是干了一件啥事呢？简易，便是求投射后源域和总体目标域的平均值之差嘛。

事儿到这儿好像也没有什么进度：大家想求的依然无法求。

TCA 是怎么做的呢，这儿就需要谢谢引流矩阵了！大家发觉，上边这一 MMD 间距平方米进行后，有二次项相乘的一部分！那麼，联络在 SVM 初中过的核函数，把一个难寻的投射以核函数的方式去求，不就可以了？因此，TCA 导入了一个核引流矩阵：

及其:

那样的益处是，立即把哪个难寻的间距，转换变成下边的方式：

trace 是矩阵的迹，用工话而言便是一个引流矩阵直线原素的和。那样是否觉得离总体目标又进了一步呢？

实际上这个问题到这儿就早已是能解的了，换句话说，归属于电子计算机的一部分早已做完了。只不过是它是一个数学中的半定整体规划（SDP，semi-definite programming）的难题，处理起來十分消耗時间。因为 TCA 的第一作者 Sinno Jialin Pan 之前是广东医学院的数学课研究生，他想要更简易的方式来处理。他是怎么做的呢？

他想到了用特征提取的方式去结构結果。

这儿的 W 引流矩阵是比 K 更低层面的引流矩阵。最终的 W 便是难题的解释了！

求得

好啦，难题到这儿，梳理一下，TCA 最终的提升总体目标是：

这儿的 $H$ 是一个中心引流矩阵，.

这一算式下边的标准代表什么意思呢？哪个 min 的总体目标大家大约了解，便是要降到最低源域和总体目标域的间距，再加上 W 的管束让它不可以太繁杂。那麼下边的标准是什么呢？下边的标准便是要完成第二个总体目标：保持分别的数据信息特点。TCA 要保持的是啥特点呢？文章内容上说是 variance，可是具体是 scatter matrix，便是数据信息的散度。就是，一个引流矩阵散度怎么计算？针对一个引流矩阵，它的 scatter matrix 便是。这一便是上边的管理中心引流矩阵啦。

处理上边的优化问题时，创作者又求了它的拉格朗日对偶。最终下结论，W 的解便是的前 m 个矩阵的特征值！简易不？数学课美丽与否？殊不知，我是搞不懂的呀！

总结

好啦，大家如今汇总一下 TCA 方式的流程。键入是2个特点引流矩阵，大家最先测算 L 和 H 引流矩阵，随后挑选一些常见的核函数开展投射（例如线形核、高斯核）测算 K，然后求的前 m 个矩阵的特征值。我不相信爱情哦。随后，获得的便是源域和总体目标域的特征提取后的数据信息，大家就可以在上面用传统式深度学习方式了。

汇总

如何，到这里大家把 TCA 方式详细介绍完后。大家回望一下，它的最关键工作中是什么呢？我觉得有二点：一是把难题转换成数学题目转换得很完全；二是最优控制求得方式很厉害。大家能从这当中学什么呢？求得难题的方式觉得是学不来了，大家又不是数学课出生。大家只有照葫芦画瓢，学习培训别人对难题的转换方法，如何就能非常好地把一个难题转换成数学课表明？这也是深度学习和人工智能技术有关方位硕士研究生最重要的工作能力！有关 TCA 的 Python 和 Matlab 编码能够参照我的 Github：https://github.com/jindongwang/transferlearning。

最终说一个 TCA 的优点和缺点。优势是完成简易，方式自身沒有过多的限定，就跟 PCA 一样非常好用。缺陷便是，虽然它避开了 SDP 难题求得，殊不知针对大引流矩阵還是必须许多 时间计算。关键耗费時间的实际操作是，最终哪个伪逆的求得及其特征值分解。在我的电脑上（i7-4790CPU 24GB 运行内存）跑 2000*2000 的核引流矩阵時间大约是 20 秒。

References

[1] TCA 正版文章内容：S. J. Pan, I. W. Tsang, J. T. Kwok and Q. Yang, "Domain Adaptation via Transfer Component Analysis," in IEEE Transactions on Neural Networks, vol. 22, no. 2, pp. 199-210, Feb. 2011.doi: 10.1109/TNN.2010.2091281

[2] Scatter matrix: Scatter matrix | Wikiwand（http://t.cn/RpQjLo0）

TensorFlow 中 RNN 完成的恰当打开