自我图书馆SELF LIBRARY持续整理中

SHELF 02 / ENGINEERING

模型工程部署,
让正确的模型跑在正确的设备上。

模型部署不是把权重导出为一个文件就结束。它需要同时处理数值精度、图编译、运行时、资源限制与线上验证。本书架以独立专题拆开这条链路,方便在具体模型和硬件上复用方法。

01 / ENGINEERING DECISION PATH

先明确要保住什么,
再决定怎样变快。

不要从“如何量化”开始。先锁定模型契约,再在资源约束中选择优化方案,最后在目标环境验收。上面是一条由证据驱动的判断链,下面才是按主题查阅的目录。

  1. 01 / DEFINE

    先问:什么结果不能变?

    固定模型版本、输入输出、预处理和质量指标。先定义可接受误差,后面的任何优化才有可判断的边界。

  2. 02 / DIAGNOSE

    再问:瓶颈究竟在哪里?

    区分算力、显存、带宽、算子和并发带来的限制,再选择量化、图优化或运行时策略,避免为了优化而优化。

  3. 03 / VERIFY

    最后问:它能在现场稳定交付吗?

    在目标设备、真实 shape 与真实并发下复验延迟、吞吐、资源占用和故障回退,确认实验室结果能走到实际服务。

02 / LOOK UP A TOPIC

模型工程部署目录

当你已经定位当前问题属于哪一步,再从这里进入相应专题。每一项拥有独立路由与阅读列表,目录页保持为可扩展的索引。

ENTRY SOURCES / TECHNICAL REFERENCES
NVIDIA TensorRT Inference Library↗TensorRT Working with Quantized Types↗PassionSR · CVPR 2025↗

部署结论必须以当前版本的框架文档、目标设备与可复现实验为准。目录内容不会替代运行时支持矩阵和许可证核查。