SHELF 02 / ENGINEERING
模型工程部署,
让正确的模型跑在正确的设备上。
模型部署不是把权重导出为一个文件就结束。它需要同时处理数值精度、图编译、运行时、资源限制与线上验证。本书架以独立专题拆开这条链路,方便在具体模型和硬件上复用方法。
01 / ENGINEERING DECISION PATH
先明确要保住什么,
再决定怎样变快。
不要从“如何量化”开始。先锁定模型契约,再在资源约束中选择优化方案,最后在目标环境验收。上面是一条由证据驱动的判断链,下面才是按主题查阅的目录。
- 01 / DEFINE
先问:什么结果不能变?
固定模型版本、输入输出、预处理和质量指标。先定义可接受误差,后面的任何优化才有可判断的边界。
- 02 / DIAGNOSE
再问:瓶颈究竟在哪里?
区分算力、显存、带宽、算子和并发带来的限制,再选择量化、图优化或运行时策略,避免为了优化而优化。
- 03 / VERIFY
最后问:它能在现场稳定交付吗?
在目标设备、真实 shape 与真实并发下复验延迟、吞吐、资源占用和故障回退,确认实验室结果能走到实际服务。
02 / LOOK UP A TOPIC
模型工程部署目录
当你已经定位当前问题属于哪一步,再从这里进入相应专题。每一项拥有独立路由与阅读列表,目录页保持为可扩展的索引。
ENTRY SOURCES / TECHNICAL REFERENCES
部署结论必须以当前版本的框架文档、目标设备与可复现实验为准。目录内容不会替代运行时支持矩阵和许可证核查。