花草识别 微软识花400种花卉一键识别

国庆节快到了，天安门广场和长安街的国庆插花已经完成。花簇在广场中央的大花篮里。

“哇，这花真漂亮！这是什么花？”

“好吧，让我在网上搜索一下……”

很多人都猝不及防，尤其是和孩子或朋友一起旅行、散步时，只能一脸茫然的面对Ta的好奇。毕竟，植物专家说，全世界至少发现了25万种花。即使你知道是哪一种，也很难讲关于花的故事。

微软亚洲研究院推出最新智能识别应用——一款名为“微软花卉识别”的便携式植物专家，可以帮你解开花卉的秘密。拿出手机，打开App，拍张照片，一键认同，省去了好奇心。微软花卉识别应用识别的花卉覆盖了中国绝大多数花卉。微软认花的开放方式应该是这样的…

首先打开微软花卉识别应用程序，从手机图库中取一张活的图片或打开一朵花的图片，将花移动到指定位置。然后，应用程序会自动识别花卉的名称和类型，并显示匹配程度，告诉你花卉的基本特征和药用价值。以上动作无需联网即可实现！这意味着在流量很少的情况下，不用互联网，你仍然可以用手机识别新奇的花卉品种。

光知道什么是花是不够的。放心吧，“微软懂花”有独特的“花语”功能。赏花要懂花语，花语是人们赋予花的符号，可以用来表达人们的一些感情和愿望。不同的花有不同的花语。不懂花语给别人送花，只会引起误会。花语是无声的，但在无声中讲述的比他们在有声中讲述的还要多。对于每一种花，系统都会附上一个漂亮的词组。比如“六道木”的花语是“自下而上六条直线想着你，最后最美的花在顶端绽放”，是不是就像你现在的心情一样？一键分享在朋友圈，用最适合自己心情的最美花语表达自己的想法。

当你使用它时，你可能还会发现应用程序中隐藏了两个彩蛋。

微软花卉识别应用程序有一个特殊的花卉搜索包，它在系统中列出400种园艺花卉，并按字母顺序进行排序。可能你只听过一些花的名字，没见过“真面目”，这个应用可以帮你提前看到。只是没听说过，找不到。这400种花基本涵盖了国内城市绿化和公园常见的花卉品种，想看的话可以搜一下哪些花。

另外，如果你对认花已经厌倦了，微软还有一个有趣的功能等着你去探索，那就是识别其他常见的日常物品。拿一件衣服放一个文具来测试这个应用的“智商”，听起来挺有意思的。常见物体的识别采用微软亚洲研究院最先进的图像识别技术。在内部测试中，识别准确率可达90%。

除了火的自然历史，微博上还有很多类似的账号，如@神山虫鸣ChenZ、@果壳自然控制、@生物人开水族馆等。，这也引起了大家的注意。这些不同的账号通常代表了某种垂直专业知识。这些账号的普及也说明了精细物体识别的门槛非常高。对于人类来说，除了极其细致的观察能力外，还需要长期的训练和知识积累。比如对于人来说，可能很容易看出图片中的植物是花还是草，但是很难判断具体的花的种类。但是由于计算机识别图像的方式和原理与人类不同，这种精细的物体识别对于计算机来说相对简单。

申请流程很简单，但是背后的技术没那么简单。市场上已经有了一些识别猫和狗的应用。与识别猫狗相比，花识别更具挑战性。狗的种类不超过300种。对于花来说，已经发现了几十万种野生植物，大量奇怪的新品种不断涌现。微软亚洲研究院多媒体搜索组的研究人员在精确识别技术方面积累了很长时间，他们希望做一些有挑战性的事情。

这个App主要使用深度学习技术。研究人员在中国科学院植物研究所提供的260万张花卉识别照片的帮助下训练了机器识别模型。但在监管较弱的情况下，260万张图片的机器学习是一个相对低效的过程，因为人的抽象能力和想象能力是计算机难以达到的。研究员傅说:“传统的深度学习技术是一个自下而上的学习过程，它允许计算机学习隐藏在底层高维数据中的高级语义表达。如果能把人类智能加入到人工智能中，引导机器的深度学习，把自下而上和自上而下的学习过程结合起来，将大大提高深度学习的准确性和效率。”通过将人类经验与人工智能相结合，增强智能的魔力可以在生成中实现。研究者在这方面做了很大的努力。

众所周知，分类学家对多种多样的生物世界进行了分类划分，即制定了“世界轮廓的科、属、种”的分类体系。准确的识别也需要循序渐进，提高识别的准确性。在花的识别方面，主要需要机器对“科-属-种”三个基本层次有一个超前的认识。研究人员首先添加花的层次结构，并将其作为先验知识来指导机器学习。研究者考虑的是层次信息，比如不同科的植物之间会有什么关联吗？所以他们通过捕捉这种相关性来训练模型。

根据“科-属-种”的层次划分，首先确定花的“科”，然后通过花瓣的分布、形状等一些细节特征来确定它属于哪个“属”，最后通过花瓣的颜色、质地等更细微的特征来确定它属于哪个“种”。计算机就是这样识别一朵花的。当然，每一朵花的识别过程都是“因花而异”。

那么人类是如何识别花朵的类型的呢？假设我们现在看到的是一张花的图片。首先我们会关注这张图中出现花的区域，确定这张图中是否有花，有多少花，排除附近的草等干扰项。接下来你可能会重点关注花的一些关键特征，比如花的颜色、形状、大小等等。通过这些关键部位的特征，比如花是单顶花，颜色为黄白色，形状为杯状或碗状，就可以大致确定是郁金香。

基于上述人类观察物体和判断物体类型的过程，研究人员开发了一种自动视觉多层次注意力模型，并结合深度神经网络技术进行图像处理和识别。第一级是对象级关注，即自动关注图片中花朵所在的区域，排除其他无关因素，如杂草等。第二个层次后，从粗到细关注部位，即关注花的具体部位，然后学习识别花的部位特征。

众所周知，深度神经网络技术在处理图像问题方面有着显著的效果。但是长期以来，深度神经网络一直被称为黑箱，人们对其并没有完全了解，因此需要突破深度神经网络的理论方面。但是当黑盒打开的时候，每个人都可以从中学到很多东西。通过一些可视化策略，研究人员可以了解这些网络学到了什么，并看到每个卷积模板代表了什么语义。事实上，卷积神经网络中间层的一些部分的信息是可以自动学习的，所以我们自动对这些自动学习的模式进行分类。这些簇中的每一簇都可以理解为一朵花的某一部分的集合。虽然模型本身并不知道其中一簇是花瓣、叶子还是雄蕊，但已经知道它属于某个部位，所以构建了一个部位检测模型。从原始图像生成的每一个候选帧都经过每个部分检测器，每个部分检测器都会自动检测出这个候选帧中最靠近这个部分的区域，从而实现第二级——部分级关注。

为了提高图像识别系统的准确性，数据量一直是一个关键问题。数据越精确，最终训练的模型的精度就越高。对于花的识别问题，研究人员最初邀请了一些植物学家来给花的图像贴标签。然而，研究人员很快发现，从成本和时间效率来看，这种数据标记方式并不是最佳选择。那么，有没有可能通过群体的智慧来解决这个问题呢？最后，研究人员选择从植物专家提供的专业网站上抓取数据，并使用弱监督学习来训练数据。

监督学习和非监督学习的概念并不陌生。前者标记数据，后者直接对输入数据集建模。研究人员在这里使用弱监督学习，希望模型能够生成更加准确清晰的标注，但是之前的数据并不能完全提供这种信息，模型需要自己进行推断。在这个读图认花的例子中，弱监督学习中的“弱点”包括这几个方面。第一个弱点是用于机器学习的数据集只有图像级的标注，即植物学家在标注一幅图片时，只标注图片上有哪些花，而没有标注花在哪里，也没有标注最需要注意的关键识别区域在哪里。其次，研究人员在互联网上使用大规模标注数据时，这些数据不一定准确，而且这类数据噪音很大。此外，这些数据大多分散且结构不佳。所以弱监督学习的方式既能兼顾数据质量的不足，又能保证用于训练的数据量巨大，最终保证微软认花应用在每个人手机上的准确性。

如前所述，植物专家的帮助对提高花卉的识别能力起到了根本性的作用。“微软花识别”app的开发是微软亚洲研究院和中科院植物所多年学术合作的成果。中国科学院植物研究所不仅提供了260万张花卉鉴定图，还提供了专家鉴定的常见中国花卉清单。微软亚洲研究院的研究人员利用先进的技术开发了一种识别花朵的算法，并选择了识别结果，由植物研究所的专家进行了识别。经过两三次迭代，得到最终训练机器识别的样本集。中国科学院植物研究所植物专家的帮助对提高花的识别能力起到了根本性的作用。此外，科学出版社还提供了大量的花卉专业知识。

这种合作是由于巧合。去年，在中国科学院植物研究所举办的研讨会上，微软亚洲研究院执行副总裁芮勇博士展示了计算机视觉的最新技术。植物研究所的专家对此非常感兴趣，并希望最新的识别技术能够应用于中国的植物研究和科学研究。植物学研究所的专家有这样一个初衷，就是了解中国的植被分布。以前基层科研人员看手册判断哪些花在不同的地方，但是基层科研人员的专业素质是不可控的。如果计算机技术可以帮助他们识别，速度和广度会提高很多。微软亚洲研究院在深度学习算法和计算机视觉方面有领先的技术基础，可以帮助他们做一些目前做不到的事情。同时，微软亚洲研究院的研究人员也希望借此机会更好地应用精确识别技术，在应用中进一步锤炼和创新。

跨学科学术合作也是微软亚洲研究院长期的培养领域。“很难对任何物种进行分类，”芮勇说。“这项技术的难点在于计算机如何区分细微的差异。真正的大数据产生于跨学科领域。我们和中科院植物所的这次合作，为微软识别花卉提供了大量的专业数据，让我们的计算机技术得到了更好的应用。同时，微软的技术也在不断加速跨学科领域的新突破。”

一个看似简单的应用背后，是微软在机器学习领域长期的技术积累和跨境合作的结果。微软亚洲研究院不仅注重基础研究的突破，还注重将基础研究的成果应用到更广泛的生活和学术中，让技术给人们带来真正的改变。

在谈到微软认花后的技术趋势时，傅研究员提到了几个发展方向。第一点是增加花卉种类，将鉴定范围扩大到多个国家，提供多语言产品和更多平台。以后出国旅游的时候也可以带上这位植物专家，帮你鉴别几千朵花。第二点是提高鉴定的准确性，提升学术合作中数据库的质量和范围。第三点是拓展产品的科普功能，丰富关于花卉的知识，提供更多的互动功能，从而达到更好的科普效果。不仅让你知道那是什么花，还拓展了你的博物学知识，让你更接近“博学之才”。第四，研究者希望不断细化识别算法模型，实现离线版和在线版的无缝切换，让微软智化等精细物体识别技术也能以API的形式打开，登陆微软认知服务等人工智能服务平台，让更多开发者受益。最后，希望这个项目能给专业研究人员带来便利，比如帮助植物专家发现新物种，帮助基层研究人员准确鉴定花卉品种。无论你是普通大众还是专家学者，让学术研究为更多人服务一直是微软亚洲研究院的目标。

目前微软认花应用已经登录iOS应用商店免费下载！想带一个植物学家一起去吗？想听Ta的花和秘密吗？去试试吧！