CUDA与TensorRT部署实战课程(2023新课+源码+课件)
来自: 单花红丝线
CUDA与TensorRT部署实战课程(2023新课+源码+课件)
Tensor是一个有助于在NVIDIA图形处理单元(GPU)上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作,专门致力于在GPU上快速有效地进行网络推理。
TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。在推理过程中,基于TensorRT的应用程序比仅仅使用CPU作为平台的应用程序要快40倍。
TensorRT包含两个阶段:编译build和部署deploy。
编译阶段对网络配置进行优化,并生成一个plan文件,用于通过深度神经网络计算前向传递。plan文件是一个优化的目标代码,可以序列化并且可存储在内存和硬盘中。
部署阶段通常采用长时间运行的服务或者用户应用程序的形式。它们接收批量输入数据,通过执行plan文件在输入数据上进行推理,并且返回批量的输出数据(分类、目标检测等)
为了优化模型的inference,TensorRT会根据网络的定义执行优化【包括特定平台的优化】并生成inference engine。此过程被称为构建阶段,尤其是在嵌入式平台上会消耗大量的时间,因此,一个典型的应用程序只会被构建一次engine,然后将其序列化为plane file以供后续使用。【注意:生成的plane file 不能跨平台或TensorRT 版本移植。另外,因为plane file是明确指定GPU 的model,所以我们要想使用不同的GPU来运行plane file必须得重新指定GPU】
你的回应
回应请先 登录 , 或 注册相关内容推荐
- CUDA与TensorRT部署实战课程(2023新课+源码+课件)
- CUDA与TensorRT部署实战课程(2023新课+源码+课件)
- 分享课程——CUDA与TensorRT部署实战课程
- NIPS回来,捎点和本组相关的新消息
- [资料/MOOC] Machine Learning, Data Mining, and AI
- 请问有人能帮忙解释下dynamic manipulation of infrared radi...
- MIDI控制器支持:Steinberg Cubase Elements for Mac v10.5.2...
- HEU KMS Activator(Win/Office全自动激活工具)
- SAE中Django admin的css样式及路径处理
- Golang 深度干货分享
最新讨论 ( 更多 )
- 建了AIGC、Chapt4 交流群,友好交流 (喵喵)
- 文科生在人工智能有一席之地吗? (Ly)
- 合伙创业,需要产品/项目经理 (Zhou.SH)
- 深圳AI创业找搭子 (doup18)
- 找情感人工智能教学辅导有偿 (Fehu)