北京时间8约21日，InfoQ获悉：百度深度学习平台飞桨（PaddlePaddle）发布Paddle Lite，该推理引擎在多硬件、多平台以及硬件混合调度的支持上更加完备，是飞桨在Paddle Mobile的基础上进行的一次大规模升级迭代。通过对底层架构设计的改进，拓展性和兼容性等方面实现显著提升。目前，Paddle Lite已经支持了ARM CPU，Mali GPU，Adreno GPU，华为NPU以及FPGA等诸多硬件平台，是目前首个支持华为NPU在线编译的深度学习推理框架。
随着技术进步，手机等移动设备已成为非常重要的本地深度学习载体，然而日趋异构化的硬件平台和复杂的终端侧的使用状况，让端侧推理引擎的架构能力颇受挑战。端侧模型的推理往往面临着算力和内存的限制，为了能够完整的支持众多的硬件架构，并且实现在这些硬件之上人工智能应用性能的性能优化，百度飞桨基于Paddle Mobile预测库，融合Anakin等多个相关项目的技术优势，发布端侧推理引擎Paddle Lite，通过建模底层计算模式，加强了多种硬件、量化方法、Data Layout 混合调度执行的能力，从而保障了宏观硬件的支持能力。
Paddle Lite在架构上全新升级，并重点增加了多种计算模式（硬件、量化方法、Data Layout）混合调度的完备性设计，可以完整承担深度学习模型在不同硬件平台上的的推理部署需求，具备高性能、多硬件、多平台、扩展性强等优势。Paddle Lite依托飞桨训练框架及其对应的丰富完整的算子库，底层算子计算逻辑与训练一致，模型完全兼容无风险，并可快速支持更多模型。
Paddle Lite架构由四层次组成：
第一层model 层直接接受Paddle训练的模型，通过模型优化工具转化为NaiveBuffer特殊格式，以便更好地适应移动端的部署场景；
第二层Program层是operator序列构成的执行程序；
第三层是一个完整的分析模块，主要包括TypeSystem、SSA Graph和Passes等模块；