本地大模型下载与国内加速
约 914 字大约 3 分钟...
痛点:HuggingFace 国内难下
绝大多数本地模型都托管在 HuggingFace 上,但国内直连常常龟速、断流甚至完全连不上。在动手下载前,建议先看 如何选模型 确定要拉哪个量化版本,再用下面的加速方案。
首选方案:ModelScope(阿里魔搭)
魔搭社区是国内速度最稳的选择,热门模型基本都有镜像,仓库名通常与 HuggingFace 完全一致,照搬即可。
安装命令行工具:
pip install modelscope下载整个仓库
modelscope download --model 命名空间/模型名 --local_dir D:\models\目标目录只下单个文件(强烈推荐)
GGUF 仓库往往把 Q2 到 Q8 一整套都放一起,动辄几十 GB。在 --model 后面追加具体文件名,就只下那一个:
modelscope download --model bullerwins/translategemma-12b-it-GGUF translategemma-12b-it-Q4_K_M.gguf --local_dir D:\models提示
下到一半中断不用慌,重跑同一条命令会自动断点续传,不会从头再来。
LM Studio 的目录结构
LM Studio 靠固定目录结构自动扫描模型,必须按下面这层级摆放,否则界面里看不到:
models 根目录/
└── 发布者/
└── 仓库名/
└── 文件.gguf举例:D:\models\bullerwins\translategemma-12b-it-GGUF\translategemma-12b-it-Q4_K_M.gguf。下载时把 --local_dir 指向对应的「发布者/仓库名」子目录即可。模型就位后,参考 部署与调用 把它跑起来。
常见报错排查
| 现象 | 原因 | 解决 |
|---|---|---|
modelscope 命令找不到 | Python 的 Scripts 目录没进 PATH | 用完整路径 ...\Python3xx\Scripts\modelscope.exe,或把该目录加入用户环境变量 PATH(加完新开终端才生效) |
| 提示「模型不存在」 | 仓库名写错 | 去 ModelScope 站内搜索,确认正确的「命名空间/模型名」 |
| 下载中途中断 | 网络波动 | 重跑同一命令即可断点续传 |
注意
仓库名区分大小写,且必须是「命名空间/模型名」两段式。直接复制 HuggingFace 的仓库名一般能用,但拿不准时务必到魔搭站内搜一遍。
备选:HuggingFace 镜像
如果某个模型魔搭上没有,可走 HuggingFace 国内镜像。设置环境变量后再用官方 CLI 下载即可:
set HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download 命名空间/模型名 --local-dir D:\models\目标目录这套作为补充手段,平时优先用 ModelScope 即可。