讲座笔记:本地部署大模型——先搞懂四个词,再动手(20261104)
基于现场速记整理。解释部分为结合上下文的整理,推断内容已标注。
一、本地部署大模型,只要先搞懂四个词
| 词 | 含义 | 决定什么 |
|---|---|---|
| 参数量 | 模型规模(0.8B、7B、27B…) | 能力上限 |
| 量化 | 用更低精度压缩权重(如 Q4) | 体积和显存占用 |
| 显存 | GPU 能容纳多少数据 | 能不能跑起来 |
| 推理速度 | 每秒生成多少 token | 用起来卡不卡 |
搞懂这四个词,就不会被各种模型名字搞晕。它们之间的关系是:
1 | 参数量越大 → 能力越强,但显存需求越高 → 需要更大量化 → 可能牺牲质量 |
二、量化的取舍
笔记重点提到「量化 Q4」。Q4 指用 4 位精度存储权重,相比默认的 FP16(16 位),体积约缩小到 1/4。
经验估算(Q4 量化下):
- 7B 模型约占 4~5GB 显存
- 14B 约 9~10GB
- 32B 约 20GB
再加上上下文缓存,显存要留出余量。所以不是看模型名字选,而是看显存能装下多大的模型。
量化的代价是精度损失。Q4 一般够用,Q2 虽然更省但质量明显下降。
三、两个主流工具
- LM Studio:图形界面,适合新手。选模型、看参数、试聊,自带本地 API。
- Ollama:命令行,一条命令拉模型,适合做自动化和接口调用。
选型建议:
- 只想体验:LM Studio 下一个 7B Q4,直接聊。
- 要接程序:Ollama + 本地 HTTP API,脚本化最方便。
四、现场练习:做一个 LLM 对话程序
笔记记录的要求是:
1 | 创建一个 LLM 对话程序,使用 Web 框架, |
这个练习把三件事串起来:
- 本地模型服务:LM Studio 启动本地 API。
- 后端:Web 框架转发请求,管理对话历史。
- 前端:输入框 + 消息列表,最好做流式输出。
跑通之后,换模型只改配置里的模型名,不用改代码。这就是本地部署相对云 API 的最大好处:模型可替换,数据不出本机。
五、一个容易踩的坑
笔记提到「qwen3.8:27b 好用」,型号表述可能有误,实际常见的是 Qwen3 系列不同尺寸。引用模型名前一定要核实,否则拉不到模型或下错版本。
另外,0.8B 模型只适合验证链路,不适合承担正式任务——能力太弱,回答质量会很差。
六、选型决策树
1 | 显存 < 8GB → 7B Q4 或更小 |
这场讲座给我的实际改变
- 用 LM Studio 跑通一个 7B Q4 模型,记录首字延迟和每秒 token 数。
- 用 Ollama 拉同一个模型,对比体验差异。
- 写一个最小 Web 对话页面,接本地 API。
- 记录自己机器的显存上限,形成「能跑多大模型」的清单。
笔记完整度说明:演示用的框架、端口、代码未记录;「qwen3.8:27b」型号疑似速记误差;不同量化等级的质量对比未记录。
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 苏的博客!