随着AI在技术开发上的不断突破和运用，越来越多的AI公司投入大量资源开发工具，芯片公司花费大量精力打造上层开发环境和平台，AI应用/算法公司投入大量人力做底层适配优化，无疑是重复造轮，耗费大量资源，整体效率低下。但是现有的软件框架不能满足AIoT的需求，训练框架依赖库多，版本间兼容性差，效率低，不适合嵌入式部署；AI框架和嵌入式芯片的双重碎片化阻碍了AIoT应用的发展。
如何创造性地解决这些问题，加快产业合作，
帮助更多企业进入AI行业？
开放人工智能实验室开发了一个轻量级模块化高性能神经网络推理引擎——Tenegine，它是专门为Arm嵌入式设备优化的，提供了优于所有已知开源框架的无与伦比的性能。可以跨平台使用，支持Android和Linux。
而且Tengine框架不依赖特殊的AI芯片。现有的成熟芯片可以通过Tengine框架挖掘计算能力，在本地处理一些AI应用，从而提高芯片性能，降低成本。
Tengine-open AIoT应用级操作系统
2018年9月，Afei.com发表了一篇题为《Tengine，这可能是Arm嵌入式系统最好的AI框架了！”，行业继续前进，并造成了巨大的反响。经过半年多的努力，OPEN AI LAB的整个tengine团队可以坚定的说“可能”这个词可以去掉，tengine是Arm嵌入式系统最好的AI框架！
以下是原文(经过修改):
Edge AI应用即将大规模落地。巨大的物联网市场和革命性的人工智能技术之间的激烈互动将带来前所未有的应用革命和商机。那么在边缘设备上部署AI应用的瓶颈是什么呢？
☉有些人有现成的芯片和应用场景，但他们被缺乏算法和平台所困扰；
☉有些人有自己的算法，但他们苦恼于缺乏一个有用的嵌入式跨平台框架；
☉有些人有自己的算法和硬件平台，但他们被嵌入式平台有限的计算能力所困扰；
☉公司的几种产品使用不同的芯片，每个芯片都有自己的接口，这使得维护和应用非常烦人。
OPEN AI LAB看到了行业痛点，适应市场需求，推出了专门为嵌入式平台设计的AI推理框架————Tengine。
为Arm嵌入式设备优化的神经网络推理引擎
开放人工智能实验室成立于2016年12月，由Arm中国的联合工业伙伴发起。致力于推动芯片、硬件、算法、软件整个产业链的深入合作，加快人工智能产业化应用部署和应用场景拓展。tengine是一款轻量级模块化高性能神经网络推理引擎，是Arm中国周易平台的软件框架，专门针对Arm嵌入式设备进行优化。对Arm平台、Arm Cortex CPU、Arm Mali GPU、周易艾普、第三方DSP的完美支持，堪称“万能之王”。
开发者可以使用Tengine摆脱主流框架模型和嵌入式操作系统，也可以在异构平台上调度各种硬件，充分利用硬件计算能力。此外，Tengine还提供常见的AI应用算法，包括图像检测、人脸识别、语音识别等。不了解AI也没关系。刚开始可以运行AI应用。
Tengine还支持各种常见的卷积神经网络，包括SqueezeNet、MobileNet、AlexNet、ResNet等。，并支持层融合和8位量化等优化策略。并且通过调用针对不同CPU微架构优化的HCL库，充分挖掘Arm CPU的性能。
嵌入式前端深度学习框架Tengine
十进制氯化氢计算库的“引擎”
Hcl(异构计算库)是由开放人工智能实验室开发的异构计算库，专门加速Arm平台上的神经网络计算。
HCL计算库作为Tengine的插件，是目前性能最快的Arm CPU NN计算库，支持精度几乎不变的动态8位量化计算。与开源时期非常优秀的框架NCNN相比，它还可以带来2-3倍的性能提升，并将内存使用量减少三分之一。
*青少年引擎性能数据A72和A53基于RK3399平台测试，A17性能基于RK3288平台测试。NCNN的数据是2018年9月7日
hclnt8定量计算的精度变化
Tengine独创的混合精度计算模式带来了用户体验和性能的最佳平衡。开发人员不需要修改原浮点模型，只需要打开tengine的量化计算开关，运行时tengine自动量化计算，大大提高了推理性能。同时由于混合精度计算，大部分模型的精度保持不变，非常实用。
*使用ILSVRC2012_VAL数据集对5000张图片进行测试，得到定量准确度测试结果
Tengine+HCL，针对不同人群量身定制
Tengine作为AI应用框架，不仅为上层应用提供推理API接口，支持主流模型和格式，还在下层定义硬件接口，以适应嵌入式平台的各种计算模块。另外，支持运行多个AI应用算法，同时调用多个计算模块进行计算。
所以Tengine的出现是AI开源生态的里程碑。有了Tengine，应用和算法厂商可以摆脱复杂的嵌入式平台适配工作，配合HCL直接挖掘硬件的全部潜力；有了Tengine，芯片厂可以站在Arm嵌入式AI生态系统的肩膀上，以最快的速度将芯片顺利推向市场，部署在边缘AI应用中。
作为OPEN AI LAB部署和开发边缘AI应用的两大工具，Tengine+HCL将帮助嵌入式人工智能行业加速前进，为万物智能的最终实现做出贡献。
查一下那非出版的《天京》原著。可能是Arm嵌入式系统最好的AI框架！《https://www.eefocus.com/mcu-dsp/421293》
开放人工智能实验室成立于2016年12月，由Arm中国的联合工业伙伴发起。致力于推动芯片、计算能力、算法、应用、数据等产业链各个层面的深度合作，加快人工智能产业化应用的部署，拓展应用场景的边界，为万物智能化的最终实现做出贡献。更多:http://www.openailab.com/? WB 0605
1.《tengine 接入Tengine，让你的AI应用飞起来》援引自互联网，旨在传递更多网络信息知识，仅代表作者本人观点，与本网站无关，侵删请联系页脚下方联系方式。
2.《tengine 接入Tengine，让你的AI应用飞起来》仅供读者参考，本网站未对该内容进行证实，对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址，https://www.lu-xu.com/keji/1619927.html
