全球首个软硬件推理平台NVDLA编译器正式开源,用户可凭借其源代码在云端自主设计推理用AI芯片。
为深度学习设计专用硬件加速器愈加受到欢迎,但如果想要使用新的设计方法来实现最先进的性能和效率,这无疑是一个复杂且具有挑战性的问题。
2017年,为促进推理用深度学习加速器的设计,英伟达开源了NVDLA(全称 NVIDIA DeepLearning Accelerator),其中包括完整的源代码:Verilog代码、C_Model代码等。而且在英伟达 Jetson AGX Xavier开发套件中,也可以找到NVDLA,它为 AI 提供了 7.9 TOPS / W的最佳峰值效率。
近期,英伟达又在GitHub上开源了NVDLA编译器的源代码,这是世界上首个软硬件推理平台的完整开源代码,也是为系统架构师和软件团队提供的一个用于深度学习加速器设计的起点。
本篇文章将主要介绍网络图形编译器在实现专用硬件加速器能效这一关键目标中所扮演的角色,以及展示如何在云端构建和运行自定义NVDLA软硬件设计。