本地大模型部署入门：数据不出门，成本可预期
私有部署动机 · 推理框架定位 · 硬件门槛 · 部署路径
核心结论：本地部署的本质是用「一次性硬件」换「数据可控 + 成本可预期」。它不是要取代云端 API，而是补足那些「数据不能出网、或量大便宜」的场景。
一、为什么考虑本地部署
- 数据不出门：内网、医疗、金融等敏感场景的硬要求；
- 成本可预期：高频海量调用下，摊薄后单次成本远低于按量付费；
- 离线可用：无外网也能跑，适合边缘与保密环境；
- 可定制：方便换模型、加私有微调。
二、硬件门槛速算
| 模型规模 | 典型显存 | 适用设备 |
|---|---|---|
| 小模型（量化） | 数 G | 消费级显卡 / 强 CPU |
| 7B-14B 量化 | 单张中端显卡 | 个人/小型服务器 |
| 更大模型 | 多卡 / 显存堆叠 | 专业服务器 |
三、部署路径
- 选模型：优先社区活跃、有明确量化版本的开放模型。
- 选框架：个人尝鲜用轻量框架；服务化用高性能推理框架。
- 量化：用 4/8-bit 量化把显存压到可承受范围。
- 封装：用 OpenAI 兼容接口暴露，业务代码几乎不改即可切换。
混合架构常见做法是「敏感/高频走本地，复杂/长尾走云端」，用一个统一网关按策略路由，兼顾安全、成本与效果。
四、常见问题
本地模型效果比云端差很多吗？
小模型在复杂推理上确有差距，但大量常规任务（摘要、分类、抽取）本地小模型已足够，且延迟更低。
没有显卡能部署吗？
可以纯 CPU 跑小量化模型，速度慢但能跑；也可只在需要时调用云端，平时离线。