AI推理公开课来了!从理论到代码,两节课带你掌握AI推理优化方法

日期:2019-07-14 08:21:45 来源:互联网 编辑:小狐 阅读人数:350

一个深度神经网络从构建到实际应用会经过训练(Training)和推理(Inference)两个阶段。其中,神经网络模型的训练需要大量的数据和算力支持,并且在训练的过程中需要不断的对模型进行调优和多次重复的计算,以使得模型具备良好的鲁棒性;而推理则是向训练好的模型输入新的数据,从而对某一事物做出尽可能准确的判断和猜测,跟模型的训练效果密不可分。

推理一般是在特定场景、有限算力的情况下进行的,可能是在云端数据中心,也可能是在智能手机、智能音箱等终端设备上,因此会对算力和时延具有很高的要求。如果将训练好的神经网络直接部署到推理端,很有可能出现算力不足无法运行,或者推理时间较长等问题,因此我们需要对训练好的神经网络进行一定的优化。

神经网络模型的优化可以从不同的维度来进行,比如模型压缩、不同网络层合并、稀疏化、采用低精度数据类型,甚至还需要根据硬件特性对网络模型进行一定的优化等。但是,通常神经网络模型的规模都比较大,手动调整显然是不现实的,那么如何快速有效的解决这个问题呢?

如果你还没有具体的解决方案,NVIDIA TensorRT或许是一个不错的选择。TensorRT是一种高性能神经网络推理引擎,主要是用来在部署神经网络到推理端之前,对神经网络进行优化加速,来提高程序的吞吐量以及降低延迟。TensorRT会从权重参数类型、动态Tensor Memory、多流执行、内核调用、网络层融合等不同维度对神经网络模型进行优化,并且支持Caffe、TensorFlow、ONNX等主流的深度学习框架。

尽管如此,在实际过程中我们还是会遇到为特定需求而自定义的网络层,超出了TensorRT的支持范围,这时候该怎么办呢?别担心,可以试试TensorRT的高级特性—插件(Plugin)者可以通过自定义插件的形式告诉TensorRT需要做什么操作,插入到神经网络的合适位置即可获得TensorRT的支持。

看了这么多,你是不是已经心动了呢?别着急,智东西公开课推出AI推理公开课NVIDIA专场,帮你解决AI推理优化难题。本次AI推理公开课NVIDIA专场共两讲,将完全由NVIDIA高级解决方案架构师刘士君进行讲解。讲解采取的是PPT课件+语音的直播讲解形式。

7月17日晚7点,第一讲将开讲,主题为《使用TensorRT为语音识别模型推理加速》刘士君老师将从影响AI推理性能的因素、TensorRT的基本加速原理、网络导入方法到具体的语音识别模型推理加速案例进行深入讲解。

第二讲将于7月31日晚7点开讲,刘士君老师讲从TensorRT的高级特性出发,告诉你如何利用TensorRT的高级特性加速自定义网络层、低精度数据支持、以及对不同深度学习框架的支持方法,并辅以代码实例,深入浅出地进行讲解。

欢迎收看直播讲解以及申请加入主讲群,一起学习和成长。

课程信息

第一讲

主题:使用TensorRT为语音识别模型推理加速

时间:7月17日晚7点

讲师:NVIDIA资深解决方案架构师刘士君

提纲:

1.影响AI推理性能的因素

2.TensorRT加速神经网络推理原理

3.将网络模型导入TensorRT的不同方法

4.使用TensorRT为语音识别模型DeepSpeech 2推理加速

第二讲

主题:代码实践!利用TensorRT高级特性为目标检测模型推理加速

时间:7月31日晚7点

讲师:NVIDIA资深解决方案架构师刘士君

提纲:

1.前期课程回顾

2.TensorRT高级特性详解

3.针对SSD的目标检测推理加速实例

4.总结:深度学习推理优化的基本原则

讲师介绍

刘士君,目前于英伟达任职资深解决方案架构师。毕业于清华大学,曾担任过微软云平台布道师、及人工智能解决方案工程师,有丰富的物联网、大数据、深度学习的项目经验。

入群路径

每场公开课的我们都将邀请讲师入驻智东西公开课旗下社群,希望与讲师认识和的朋友,可以添加果果(ID:zhidxguoguo)进行申请。有备注“姓名-公司/学校”的将优先通过。

社群规则

1、智东西社群坚持实名学习、交流和合作,入群后需要修改群昵称为:姓名-公司-所在领域,违者踢群。

本文相关词条概念解析:

推理

推理是形式逻辑。是研究人们思维形式及其规律和一些简单的逻辑方法的科学。其作用是从已知的知识得到未知的知识,特别是可以得到不可能通过感觉经验掌握的未知知识。推理主要有演绎推理和归纳推理。演绎推理是从一般规律出发,运用逻辑证明或数学运算,得出特殊事实应遵循的规律,即从一般到特殊。归纳推理就是从许多个别的事物中概括出一般性概念、原则或结论,即从特殊到一般。

网友评论
马戏团的狮
马戏团的狮
但也有具有局限性,是专注在特定领域,而非整体
2019-09-11 23:18 658
小星星0213
小星星0213
有研究人员表示,该算法可用于创造先进的人工智能机器人,或帮助患者恢复视力
2019-09-11 21:42 991
午后白茶
午后白茶
AI全面入侵,程序员到了2040年还能继续敲代码吗?
2019-09-12 19:14 935
超级小麦1986
超级小麦1986
增强识别道路障碍物的能力可提升车辆的反应速度,自动驾驶汽车的安全性也相应提高
2019-09-13 18:27 6
微笑似年华3
微笑似年华3
会ps,AI,dw代码还会maya,能够做什么样的工作?能够拿多高的工资啊?
2019-09-13 07:47 777
好想疯却不
好想疯却不
简单来说,就是用这个自主研制的AI再造AI
2019-09-15 19:55 724
dream_14
dream_14
会写代码的AI相当于什么水平的程序员?
2019-09-16 02:41 713
嘻嘻嘻嘻嘻
嘻嘻嘻嘻嘻
当时,在圈内还引起不小轰动
2019-09-14 01:25 759
重生1988
重生1988
实时识别录像中的人物、车辆、交通信号灯、手提包和背包等物体
2019-09-09 11:00 331
eastsh
eastsh
借助强化学习,谷歌研究员研发了机器学习模型
2019-09-14 14:25 277
tong1314
tong1314
这两个层都是由AutoML设计的
2019-09-12 22:26 472
岁月如歌时
岁月如歌时
现在的AI编写代码能达到什么程度了?未来几年能替代初级程序员的工作吗?
2019-09-09 13:39 362
风轻云淡_2
风轻云淡_2
NASNet架构由两种类型的层组成
2019-09-15 07:58 881
jpy355
jpy355
谷歌研究员称,ImageNet图像分类和COCO物体检测数据集为“计算机视觉领域公认的两大深度学习数据集”
2019-09-11 18:00 704
相关文章
重磅!联合国权威AI趋势报告,美中日韩四分天下【附下载】|智东西内参

重磅!联合国权威AI趋势报告,美中日韩四分天下【附下载】|智东西内参

重磅!联合国权威AI趋势报告,美中日韩四分天下【附下载】|智东西内参[详情]

徐静蕾选演员的第一要求是素颜,15岁就签下“乔英子”,有眼光

徐静蕾选演员的第一要求是素颜,15岁就签下“乔英子”,有眼光

徐静蕾选演员的第一要求是素颜,15岁就签下“乔英子”,有眼光[详情]

华为&天津大学:这一课带你畅游物联网的奇妙世界!

华为&天津大学:这一课带你畅游物联网的奇妙世界!

华为&天津大学:这一课带你畅游物联网的奇妙世界![详情]

网站地图    Copyright     2016-2018  资讯网   All rights reserved.