基于现场速记整理。解释部分为结合上下文的整理,推断内容已标注。

一、本地部署大模型,只要先搞懂四个词

词 含义 决定什么
参数量 模型规模(0.8B、7B、27B…) 能力上限
量化 用更低精度压缩权重(如 Q4) 体积和显存占用
显存 GPU 能容纳多少数据 能不能跑起来
推理速度 每秒生成多少 token 用起来卡不卡

搞懂这四个词,就不会被各种模型名字搞晕。它们之间的关系是:

1
参数量越大 → 能力越强,但显存需求越高 → 需要更大量化 → 可能牺牲质量

二、量化的取舍

笔记重点提到「量化 Q4」。Q4 指用 4 位精度存储权重,相比默认的 FP16(16 位),体积约缩小到 1/4。

经验估算(Q4 量化下):

  • 7B 模型约占 4~5GB 显存
  • 14B 约 9~10GB
  • 32B 约 20GB

再加上上下文缓存,显存要留出余量。所以不是看模型名字选,而是看显存能装下多大的模型。

量化的代价是精度损失。Q4 一般够用,Q2 虽然更省但质量明显下降。

三、两个主流工具

  • LM Studio:图形界面,适合新手。选模型、看参数、试聊,自带本地 API。
  • Ollama:命令行,一条命令拉模型,适合做自动化和接口调用。

选型建议:

  • 只想体验:LM Studio 下一个 7B Q4,直接聊。
  • 要接程序:Ollama + 本地 HTTP API,脚本化最方便。

四、现场练习:做一个 LLM 对话程序

笔记记录的要求是:

1
2
创建一个 LLM 对话程序,使用 Web 框架,
调用 LM Studio 完成(已部署 Qwen3.5-0.8B)。

这个练习把三件事串起来:

  1. 本地模型服务:LM Studio 启动本地 API。
  2. 后端:Web 框架转发请求,管理对话历史。
  3. 前端:输入框 + 消息列表,最好做流式输出。

跑通之后,换模型只改配置里的模型名,不用改代码。这就是本地部署相对云 API 的最大好处:模型可替换,数据不出本机。

五、一个容易踩的坑

笔记提到「qwen3.8:27b 好用」,型号表述可能有误,实际常见的是 Qwen3 系列不同尺寸。引用模型名前一定要核实,否则拉不到模型或下错版本。

另外,0.8B 模型只适合验证链路,不适合承担正式任务——能力太弱,回答质量会很差。

六、选型决策树

1
2
3
4
显存 < 8GB  → 7B Q4 或更小
显存 8~16GB → 14B Q4
显存 16~24GB → 32B Q4 或 14B 非量化
显存 > 24GB → 70B Q4 或更大

这场讲座给我的实际改变

  1. 用 LM Studio 跑通一个 7B Q4 模型,记录首字延迟和每秒 token 数。
  2. 用 Ollama 拉同一个模型,对比体验差异。
  3. 写一个最小 Web 对话页面,接本地 API。
  4. 记录自己机器的显存上限,形成「能跑多大模型」的清单。

笔记完整度说明:演示用的框架、端口、代码未记录;「qwen3.8:27b」型号疑似速记误差;不同量化等级的质量对比未记录。