本地大模型部署入门：数据不出门，成本可预期
私有部署动机 · 推理框架定位 · 硬件门槛 · 部署路径
核心结论：本地部署的本质是用「一次性硬件」换「数据可控 + 成本可预期」。它不是要取代云端 API，而是补足那些「数据不能出网、或量大便宜」的场景。
一、为什么考虑本地部署
- 数据不出门：内网、医疗、金融等敏感场景的硬要求；
- 成本可预期：高频海量调用下，摊薄后单次成本远低于按量付费；
- 离线可用：无外网也能跑，适合边缘与保密环境；
- 可定制：方便换模型、加私有微调。
二、硬件门槛速算
| 模型规模 | 典型显存 | 适用设备 |
|---|---|---|
| 小模型（量化） | 数 G | 消费级显卡 / 强 CPU |
| 7B-14B 量化 | 单张中端显卡 | 个人/小型服务器 |
| 更大模型 | 多卡 / 显存堆叠 | 专业服务器 |
三、部署路径
- 选模型：优先社区活跃、有明确量化版本的开放模型。
- 选框架：个人尝鲜用轻量框架；服务化用高性能推理框架。
- 量化：用 4/8-bit 量化把显存压到可承受范围。
- 封装：用 OpenAI 兼容接口暴露，业务代码几乎不改即可切换。
混合架构常见做法是「敏感/高频走本地，复杂/长尾走云端」，用一个统一网关按策略路由，兼顾安全、成本与效果。
四、常见问题
什么场景适合本地/私有部署？
数据敏感不能出内网、需完全离线、或调用量巨大想固定成本时。它能保证数据不出门，且推理成本不随调用量线性增长。
本地跑模型对硬件要求高吗？
取决于模型大小。小模型（数 G 显存）消费级显卡甚至 CPU 即可；主流 7B-14B 量化版常见单张中端显卡；更大模型才需要多卡/服务器。
推理框架怎么选？
轻量框架胜在易用、适合个人与小规模；高性能框架胜在吞吐与并发，适合服务化部署。先按「能否跑起来、够不够快」选，再谈极致优化。
量化是什么，会影响效果吗？
量化用更低精度（如 4/8 bit）压缩模型，显存占用与速度大幅改善，质量略有折损。多数场景下 4-bit 量化后的小模型仍足够实用。
本地模型能和线上 API 混用吗？
可以，也很常见：敏感数据走本地，复杂任务走云端旗舰，用统一接口切换（OpenAI 兼容协议让迁移很容易）。
本地模型效果比云端差很多吗？
小模型在复杂推理上确有差距，但大量常规任务（摘要、分类、抽取）本地小模型已足够，且延迟更低。
没有显卡能部署吗？
可以纯 CPU 跑小量化模型，速度慢但能跑；也可只在需要时调用云端，平时离线。