汇顶科技校园招聘 校招 | 梅特勒-托利多、药明康德、汇顶科技等

丁苯橡胶使用的训练数据是标记图像数据和未标记视频数据。在训练过程中，SBR可以无监督的方式从视频中提取监管信息，优化检测器(神经网络)。在测试阶段，SBR训练的模型可以在图像或视频数据中达到较高的精度，使视频中的检测结果更加稳定。

注册监管培训流程

SBR的训练过程有两个损失函数。一个是检测器损失函数，另一个是定时配准损失函数。这两种方法可以互补，使人脸关键点检测器更加鲁棒。检测器损失函数作用于模型检测结果和手动标注，优化使得模型检测结果和手动标注尽可能靠近标注的数据。定时配准的损失函数是优化连续几帧关键点检测结果的定时一致性。具体来说，在输入两个连续的图像t-1和T并通过同一个人脸关键点检测器后，我们可以得到第t-1帧和第T帧的检测结果。我们通过Lucas-Kanade算法将第t-1帧的检测结果跟踪到第T帧，时间序列配准损失函数是为了使第T帧上的跟踪结果尽可能与检测结果一致。值得注意的是，Lucas-Kanade算法不需要训练，有封闭解，所以我们把Lucas-Kanade算法写成可微模块嵌入CNN。训练时，检测器丢失函数利用人脸外观信息，通过人工标注学习关键点检测器；定时配准的损失函数通过嵌入卢卡斯-卡纳德模块来保证定时的一致性。梯度可以通过卢卡斯-卡纳德模块传输到检测模型，使检测结果在相邻帧上一致。

是什么启发了注册监管的提出？

目前训练CNN模型需要大量的标注数据。但是标注大量数据需要大量的人力资源，手工标注往往不准确。如下图所示，16个关键点的位置用两个嘴巴标注在图片上，一种颜色代表一个关键点。我们给出九个标注器的标注结果，可以发现每个标注器对关键点的定位方差很大。这些标注错误会对训练和测试模型产生很大影响。所以我们在想，是否可以用一种不需要人工标注的监管信息来训练CNN模型。为此，我们提出了监督注册，它利用视频中相邻帧之间的时序一致性作为监督信息。

为什么文章显示注册监管带来的改善不多？

目前人脸关键点检测主要有两个评价指标，NME(归一化平均误差)和AUC(曲线下面积)。这两个评价指标可以很好地衡量检测结果与人工标注前的差距，但不能很好地反映模型在视频中的表现。普通人脸关键点检测器预测的关键点坐标在视频中会出现很强的抖动，但是SBR训练的人脸关键点检测器结果在视频中非常稳定。目前没有很好的方法来衡量这些改进，但是SBR的效果可以在演示视频中清晰的体现出来。