TensorRT
- NVIDA TensorRT的核心是一个C++库，它有助于NVIDIA图形处理单元（GPU）的高性能推理，TensorRT采用一个经过训练的网络，该网络由一个网络定义和一组经过训练的参数组成，并生成一个高度优化的运行时引擎，对该网络进行推理。
- TensorRT通过由C++和Python提供API的帮助，用网络定义API来表达深度学习模型，或者通过允许TensorRT优化以及在NVIDIA GPU上运行的解析器加载预定义模型。TensorRT应用了图形优化、层融合以及其他优化，同时还利用高度优化的内核的不同集合找到了该模型的最快实现。
- TensorRT还提供了一个运行时，您可以使用它在所有NVIDIA的GPU上执行这个网络，从开普勒一代开始。
- TensorRT还包括Tegra X1中引入的可选高速混合精度功能，并通过Pascal、Volta和Turing架构进行了扩展。