AI推理公开课来了!从理论到代码,两节课带你掌握AI推理优化方法

日期:2019-07-14 08:21:45 来源:互联网 编辑:小狐 阅读人数:349

一个深度神经网络从构建到实际应用会经过训练(Training)和推理(Inference)两个阶段。其中,神经网络模型的训练需要大量的数据和算力支持,并且在训练的过程中需要不断的对模型进行调优和多次重复的计算,以使得模型具备良好的鲁棒性;而推理则是向训练好的模型输入新的数据,从而对某一事物做出尽可能准确的判断和猜测,跟模型的训练效果密不可分。

推理一般是在特定场景、有限算力的情况下进行的,可能是在云端数据中心,也可能是在智能手机、智能音箱等终端设备上,因此会对算力和时延具有很高的要求。如果将训练好的神经网络直接部署到推理端,很有可能出现算力不足无法运行,或者推理时间较长等问题,因此我们需要对训练好的神经网络进行一定的优化。

神经网络模型的优化可以从不同的维度来进行,比如模型压缩、不同网络层合并、稀疏化、采用低精度数据类型,甚至还需要根据硬件特性对网络模型进行一定的优化等。但是,通常神经网络模型的规模都比较大,手动调整显然是不现实的,那么如何快速有效的解决这个问题呢?

如果你还没有具体的解决方案,NVIDIA TensorRT或许是一个不错的选择。TensorRT是一种高性能神经网络推理引擎,主要是用来在部署神经网络到推理端之前,对神经网络进行优化加速,来提高程序的吞吐量以及降低延迟。TensorRT会从权重参数类型、动态Tensor Memory、多流执行、内核调用、网络层融合等不同维度对神经网络模型进行优化,并且支持Caffe、TensorFlow、ONNX等主流的深度学习框架。

尽管如此,在实际过程中我们还是会遇到为特定需求而自定义的网络层,超出了TensorRT的支持范围,这时候该怎么办呢?别担心,可以试试TensorRT的高级特性—插件(Plugin)者可以通过自定义插件的形式告诉TensorRT需要做什么操作,插入到神经网络的合适位置即可获得TensorRT的支持。

看了这么多,你是不是已经心动了呢?别着急,智东西公开课推出AI推理公开课NVIDIA专场,帮你解决AI推理优化难题。本次AI推理公开课NVIDIA专场共两讲,将完全由NVIDIA高级解决方案架构师刘士君进行讲解。讲解采取的是PPT课件+语音的直播讲解形式。

7月17日晚7点,第一讲将开讲,主题为《使用TensorRT为语音识别模型推理加速》刘士君老师将从影响AI推理性能的因素、TensorRT的基本加速原理、网络导入方法到具体的语音识别模型推理加速案例进行深入讲解。

第二讲将于7月31日晚7点开讲,刘士君老师讲从TensorRT的高级特性出发,告诉你如何利用TensorRT的高级特性加速自定义网络层、低精度数据支持、以及对不同深度学习框架的支持方法,并辅以代码实例,深入浅出地进行讲解。

欢迎收看直播讲解以及申请加入主讲群,一起学习和成长。

课程信息

第一讲

主题:使用TensorRT为语音识别模型推理加速

时间:7月17日晚7点

讲师:NVIDIA资深解决方案架构师刘士君

提纲:

1.影响AI推理性能的因素

2.TensorRT加速神经网络推理原理

3.将网络模型导入TensorRT的不同方法

4.使用TensorRT为语音识别模型DeepSpeech 2推理加速

第二讲

主题:代码实践!利用TensorRT高级特性为目标检测模型推理加速

时间:7月31日晚7点

讲师:NVIDIA资深解决方案架构师刘士君

提纲:

1.前期课程回顾

2.TensorRT高级特性详解

3.针对SSD的目标检测推理加速实例

4.总结:深度学习推理优化的基本原则

讲师介绍

刘士君,目前于英伟达任职资深解决方案架构师。毕业于清华大学,曾担任过微软云平台布道师、及人工智能解决方案工程师,有丰富的物联网、大数据、深度学习的项目经验。

入群路径

每场公开课的我们都将邀请讲师入驻智东西公开课旗下社群,希望与讲师认识和的朋友,可以添加果果(ID:zhidxguoguo)进行申请。有备注“姓名-公司/学校”的将优先通过。

社群规则

1、智东西社群坚持实名学习、交流和合作,入群后需要修改群昵称为:姓名-公司-所在领域,违者踢群。

本文相关词条概念解析:

推理

推理是形式逻辑。是研究人们思维形式及其规律和一些简单的逻辑方法的科学。其作用是从已知的知识得到未知的知识,特别是可以得到不可能通过感觉经验掌握的未知知识。推理主要有演绎推理和归纳推理。演绎推理是从一般规律出发,运用逻辑证明或数学运算,得出特殊事实应遵循的规律,即从一般到特殊。归纳推理就是从许多个别的事物中概括出一般性概念、原则或结论,即从特殊到一般。

网友评论
让人哇塞的
让人哇塞的
但也有具有局限性,是专注在特定领域,而非整体
2019-07-17 12:12 655
我就是小剩
我就是小剩
谷歌研究员称,ImageNet图像分类和COCO物体检测数据集为“计算机视觉领域公认的两大深度学习数据集”
2019-07-10 12:56 490
喵了个咪2
喵了个咪2
当时,在圈内还引起不小轰动
2019-07-13 08:56 723
未来,尽在
未来,尽在
这两个层都是由AutoML设计的
2019-07-18 00:52 22
wyzmm8888
wyzmm8888
借助强化学习,谷歌研究员研发了机器学习模型
2019-07-20 02:19 158
小蜜蜂与小
小蜜蜂与小
会写代码的AI相当于什么水平的程序员?
2019-07-10 15:28 773
耳朵的耳朵
耳朵的耳朵
简单来说,就是用这个自主研制的AI再造AI
2019-07-16 05:39 748
爱吃肉肉的
爱吃肉肉的
增强识别道路障碍物的能力可提升车辆的反应速度,自动驾驶汽车的安全性也相应提高
2019-07-10 10:22 296
花怎么都不
花怎么都不
有研究人员表示,该算法可用于创造先进的人工智能机器人,或帮助患者恢复视力
2019-07-12 09:04 817
小鱼_58
小鱼_58
AI全面入侵,程序员到了2040年还能继续敲代码吗?
2019-07-19 17:15 357
小蜜蜂与小
小蜜蜂与小
会ps,AI,dw代码还会maya,能够做什么样的工作?能够拿多高的工资啊?
2019-07-19 05:01 163
你瞒我瞒i
你瞒我瞒i
NASNet架构由两种类型的层组成
2019-07-19 19:31 213
命运在跳舞
命运在跳舞
实时识别录像中的人物、车辆、交通信号灯、手提包和背包等物体
2019-07-13 19:44 259
你沧桑的脸
你沧桑的脸
现在的AI编写代码能达到什么程度了?未来几年能替代初级程序员的工作吗?
2019-07-19 17:28 903
相关文章
从《明星大侦探》到《头号嫌疑人》,推理探案也可以互动着来玩

从《明星大侦探》到《头号嫌疑人》,推理探案也可以互动着来玩

从《明星大侦探》到《头号嫌疑人》,推理探案也可以互动着来玩[详情]

言情破案推理悬疑小说 推理破案的现代言情文

言情破案推理悬疑小说 推理破案的现代言情文

言情破案推理悬疑小说 推理破案的现代言情文[详情]

营养满满的几道家常菜推荐, 自己动手丰衣足食, 健康好味道

营养满满的几道家常菜推荐, 自己动手丰衣足食, 健康好味道

营养满满的几道家常菜推荐, 自己动手丰衣足食, 健康好味道[详情]

网站地图    Copyright     2016-2018  资讯网   All rights reserved.