您现在的位置: 首页 > 标签 > AI加速推理运算
AI加速推理运算
AI加速推理运算
相关文章 : 1篇 浏览 : 14次

一种深度学习推理运算方法及中间件,所述方法通过推理中间件用于具有不同推理运算库的硬件平台,所述方法包括:根据硬件环境,初始化所述推理中间件支持的推理运算库;调用当前使用的推理运算库,对数据进行推理运算;输出推理运算的结果.本申请的方法及中间件可以根据不同的硬件平台选择运行模式,选出最适合该硬件平台的推理运算库,使硬件平台发挥最优性能,本申请可根据不同的硬件平台,支持其对应的推理加速方案,无需专业技术人员进行繁琐的移植工作,提高了用户体验.