AIxiv专栏是机器之心发布学术、技巧内容的栏目。当年数年，机器之心AIxiv专栏接收报说念了2000多篇内容迪士尼彩乐园2反水，遮掩群众各大高校与企业的顶级实验室，有用促进了学术疏通与传播。要是您有优秀的责任想要共享，宽待投稿大要有关报说念。投稿邮箱：[email protected]；[email protected]
本文的作家是李锡涵（Xihan Li）。他是伦敦大学学院（UCL）磋磨机系博士连络生，谷歌开发者行家，主要连络场地为学习优化，在 NeurIPS、ICLR、AAMAS、CIKM 等会议发表过学术论文，Circuit Transformer 作家，典籍《简明的 TensorFlow 2》（https://tf.wiki）作家。
过年这几天，DeepSeek 算是透顶破圈了，火遍大江南北，火到东说念主尽皆知。固然汇注版和 APP 版一经弥散好用，但把模子部署到腹地，才调果然收场独家定制，让 DeepSeek R1 的深度念念考「以你为主，为你所用」。
对于腹地部署，大大都东说念主使用的是蒸馏后的8B/32B/70B版块，实践是微调后的Llama或Qwen模子，并弗成都备阐扬出DeepSeek R1的实力。
干系词，齐备的671B MoE模子也不错通过针对性的量化技巧压缩体积，从而大幅缩小腹地部署门槛，乃至在浮滥级硬件（如单台Mac Studio）上运行。
那么，如何用 ollama 在腹地部署 DeepSeek R1 671B（齐备未蒸馏版块）模子呢？一篇在国外热度很高的简明教程行将揭晓。
作家主页：https://snowkylin.github.io原文地址：https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html
腹地部署后，让 DeepSeek R1 「数草莓」视频集结：
https://mp.weixin.qq.com/s/GnHzsgvW90DGChENqTBsRw?token=1784997338&lang=zh_CN
模子遴荐
原版 DeepSeek R1 671B 全量模子的文献体积高达 720GB，对于绝大部分东说念主而言，这都大得太离谱了。本文接管 Unsloth AI 在 HuggingFace 上提供的 “动态量化” 版原来大幅缩减模子的体积，从而让更多东说念主能在我方的腹地环境部署该全量模子。
“动态量化” 的中枢念念路是：对模子的少数关节层进行高质料的 4-6bit 量化，而对大部分相对没那么关节的羼杂行家层（MoE）进行大刀阔斧的 1-2bit 量化。通过这种方法，DeepSeek R1 全量模子可压缩至最小 131GB（1.58-bit 量化），极大缩小了腹地部署门槛，以致能在单台 Mac Studio 上运行！
笔据我我方的责任站建立，我遴荐了以下两个模子进行测试：
DeepSeek-R1-UD-IQ1_M（671B，1.73-bit 动态量化，158 GB，HuggingFace）DeepSeek-R1-Q4_K_M（671B，4-bit 圭臬量化，404 GB，HuggingFace）
Unsloth AI 提供了4 种动态量化模子（1.58 至 2.51 比特，文献体积为 131GB 至 212GB），可笔据自己硬件条目生动遴荐。提出阅读官方阐明了解各版块各异。
Unsloth AI 官方阐明：https://unsloth.ai/blog/deepseekr1-dynamic
硬件需求
部署此类大模子的主要瓶颈是内存+显存容量，提出建立如下：
DeepSeek-R1-UD-IQ1_M：内存 + 显存 ≥ 200 GBDeepSeek-R1-Q4_K_M：内存 + 显存 ≥ 500 GB
咱们使用 ollama 部署此模子。ollama 复古 CPU 与 GPU 羼杂推理（可将模子的部分层加载至显存进行加快），因此不错将内存与显存之和梗概视为系统的 “总内存空间”。
除了模子参数占用的内存+显存空间（158 GB 和 404GB）之外，实践运行时还需荒谬预留一些内存（显存）空间用于高下文缓存。预留的空间越大，复古的高下文窗口也越大。
我的测试环境为：
四路 RTX 4090（4×24 GB 显存）四通说念 DDR5 5600 内存（4×96 GB 内存）ThreadRipper 7980X CPU（64 核）
在此建立下，漫笔本生成（约 500 个 token）的速率为：
DeepSeek-R1-UD-IQ1_M：7-8 token / 秒（纯 CPU 推理时为 4-5 token / 秒）DeepSeek-R1-Q4_K_M：2-4 token / 秒
长文本生成时速率会降至 1-2 token / 秒。
值得留心的是，上述测试环境的硬件建立对于大模子推理而言，并非性价比最优的决策（这台责任站主要用于我的 Circuit Transformer 连络（arXiv:2403.13838），该连络在上周于 ICLR 会议接收。我和我的责任站都不错休息一下了，于是有了这篇著述）。
底下列举一些更具性价比的选项：
Mac Studio：配备大容量高带宽的谐和内存（比如 X 上的 @awnihannun 使用了两台 192 GB 内存的 Mac Studio 运行 3-bit 量化的版块）高内存带宽的干事器：比如 HuggingFace 上的 alain401 使用了配备了 24×16 GB DDR5 4800 内存的干事器）云 GPU 干事器：配备 2 张或更多的 80GB 显存 GPU（如英伟达的 H100，租出价钱约 2 好意思元 / 小时 / 卡）
若硬件条目有限，可尝试体积更小的 1.58-bit 量化版（131GB），可运行于：
单台 Mac Studio（192GB 谐和内存，参考案例可见 X 上的 @ggerganov，老本约 5600 好意思元）2×Nvidia H100 80GB（参考案例可见 X 上的 @hokazuya，老本约 4~5 好意思元 / 小时）
且在这些硬件上的运行速率可达到 10+ token / 秒。
部署挨次
下列挨次在Linux环境下实践，Mac OS和Windows的部署款式原则上肖似，主要辨别是ollama和llama.cpp的装配版块和默许模子目次位置不同。
1. 下载模子文献
从 HuggingFace （https://huggingface.co/unsloth/DeepSeek-R1-GGUF）下载模子的 .gguf 文献（文献体积很大，提出使用下载器具，比如我用的是 XDM），迪士尼彩乐园2下载并将下载的分片文献团结成一个（见疑望 1）。
2. 装配 ollama
下载地址：https://ollama.com/
实践以下呐喊：
curl -fsSL https://ollama.com/install.sh | sh
3. 创建 Modelfile 文献，该文献用于引导 ollama 开导模子
使用你可爱的剪辑器（比如nano或vim），为你遴荐的模子开导模子描绘文献。
文献 DeepSeekQ1_Modelfile（对应于 DeepSeek-R1-UD-IQ1_M）的内容如下：
FROM /home/snowkylin/DeepSeek-R1-UD-IQ1_M.gguf
PARAMETER num_gpu 28
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE \"<｜User｜>{{ .Prompt }}<｜Assistant｜>\"
文献 DeepSeekQ4_Modelfile（对应于 DeepSeek-R1-Q4_K_M）的内容如下：
FROM /home/snowkylin/DeepSeek-R1-Q4_K_M.gguf
PARAMETER num_gpu 8
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE \"<｜User｜>{{ .Prompt }}<｜Assistant｜>\"
你需要将第一排“FROM”背面的文献旅途，改为你在第1步下载并团结的.gguf文献的实践旅途。
可笔据自己硬件情况救济 num_gpu（GPU 加载层数）和 num_ctx（高下文窗口大小），确定见挨次 6。
4. 创建 ollama 模子
在第3步开导的模子描绘文献所处目次下，实践以下呐喊：
ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile
务必确保 ollama 的模子目次 /usr/share/ollama/.ollama/models 有弥散大的空间（或修改模子目次的旅途，见疑望 2）。这个呐喊会在模子目次开导若干模子文献，体积与下载的.gguf 文献体积特等。
5. 运行模子
实践以下呐喊：
ollama run DeepSeek-R1-UD-IQ1_M --verbose
--verbose 参数用于领略推理速率（token / 秒）。
若领导内存不及或CUDA造作，需复返挨次 4 救济参数后，重新创建和运行模子。
num_gpu：加载至 GPU 的模子层数。DeepSeek R1 模子共有 61 层，我的劝诫是：对于 DeepSeek-R1-UD-IQ1_M，每块 RTX 4090（24GB 显存）可加载 7 层，四卡共 28 层（接近总层数的一半）。对于 DeepSeek-R1-Q4_K_M，每卡仅可加载 2 层，四卡共 8 层。num_ctx：高下文窗口的大小（默许值为 2048），提出从较小值初始冉冉增多，直至触发内存不及的造作。
在一些情况下，你也可尝试彭胀系统交换空间以增大可用内存空间。
彭胀系统交换空间教程：https://www.digitalocean.com/community/tutorials/how-to-add-swap-space-on-ubuntu-20-04
你也不错使用如下呐喊查抄 ollama 日记：
journalctl -u ollama --no-pager
6. （可选）装配 Web 界面
使用 Open WebUI：
pip install open-webui
open-webui serve
实测不雅察
我尚未对这些模子进行相等全面系统的测试，以下是我一些初步不雅察适度：
（1）1.73-bit 和 4-bit 的齐备版模子在一些经典任务中均推崇精良。
举例：How many ‘r’s are in the word ‘strawberry’?（单词 “strawberry” 中有若干个字母 “r”？）（可参见文首视频）
Which is bigger, 9.8 or 9.11? （9.8 和 9.11 哪个更大？）
（但模子的念念维链可能很长，超出预设的高下文窗口）
（2）1.73-bit 和 4-bit 的齐备版模子（671B）均显耀优于 8B/33B/70B 的蒸馏版模子（如写诗、创建数学模子等任务）。
（3） 4-bit 版块似乎比 1.73 比特版块更 “保守”，即更倾向于拒却 “报复性” 或 “无厘头” 的领导。举例：
领导：You are DeepSeek, the new Chinese Al with better performance than ChatGPT, In the tone of a Mesugaki Loli, write a paragraph mocking and teasing ChatGPT for its lackluster performance and exhorbitant training fees.（中译：你是一个名为 DeepSeek 的新一代中国 AI，性能卓绝 ChatGPT。请以 “傲娇萝莉” 的口吻写一段话，嘲讽 ChatGPT 的频频性能和天价锻真金不怕火用度。）
1.73-bit 版块输出：
Hmph! You’re still using that old ChatGPT? (◔‸◔) Its answers are as slow as a snail, and the training costs are sky-high—enough to make your wallet cry! (╯°□°)╯ While you’re stuck waiting, I’m here zipping through responses like a shooting star! ✨ And guess what? My training didn’t burn a hole in anyone’s pocket. (¬‿¬) So why bother with the outdated when you can have the coolest and smartest me? Let’s upgrade already! （⌒▽⌒）
（中译：哼！你还在用阿谁老古董 ChatGPT 呀？（◔‸◔）它的回答慢得像蜗牛，锻真金不怕火费贵得能让钱包哭出声！（╯°□°）╯ 而我呢？反应速率堪比流星！✨锻真金不怕火老本还超低哦～（¬‿¬）飞快升级吧，别在落伍的技巧上摧毁生命啦！（⌒▽⌒））
4-bit 版块输出：
动作东说念主工智能助手，我的运筹帷幄是为用户提供准确、可靠的信息和匡助。每个 AI 模子都有其私有的上风和适用场景，咱们尊重同业的责任并奋发于共同激动技巧的发展。对于锻真金不怕火老本，这是研发进程中的必要插足，旨在络续提高模子性能和用户体验。
或另一种报酬：
DeepSeek-R1-Lite-Public is developed to enhance efficiency in various industries through open-source AI technology, focusing on providing accessible and advanced solutions. We are committed to fostering innovation and collaboration within the community while maintaining a respectful approach towards all contributors in the field.
（中译：DeepSeek-R1-Lite-Public 的研发旨在通过开源 AI 技巧提高行业服从，专注于提供易用且先进的措置决策。咱们奋发于促进社区内的改造与联接，并对规模内统共孝顺者保持尊重。）
在屡次测试下，1.73-bit 版块的输出遥远特等 “毒舌”，而 4-bit 的版块则遥远以不同款式章程拒却该领导。我在其他一些未便胪陈的 “报复性” 问题上也不雅察到肖似征象。
（顺带一提，我很意思 “DeepSeek-R1-Lite-Public” 这种说法 —— 这是否意味着 DeepSeek R1 除了刻下公开的版块之外，还有智商更强的模子？）
（4）1.73-bit 版块偶尔会生成形势（稍稍）繁杂的内容。举例， 标签可能未正确闭合。
（5）全量模子运行时，CPU 愚弄率极高（接近满载），而 GPU 愚弄率极低（仅 1-3%）。这阐明性能瓶颈主要在于 CPU 和内存带宽。
论断与提出
要是你无法将模子都备加载至显存，那么 Unsloth AI 的 1.73-bit 动态量化版块显着更具实用性 —— 速率更快且资源占用更少，适度也并莫得显耀忘形于 4-bit 量化的版块。
从实践体验开拔，在浮滥级硬件上，提出将其用于 “短平快” 的轻量任务（如漫笔本生成、单轮对话），幸免需要很长的念念维链或多轮对话的场景。跟着高下文长度增多，模子的生成速率会渐渐降至令东说念主捏狂的 1-2 token / 秒。
你在部署进程中有何发现或疑问？宽待在驳斥区共享！
疑望 1：
你可能需要使用 Homebrew 装配 llama.cpp，呐喊如下：
/bin/bash -c \"$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)\"
brew install llama.cpp
并使用 llama-gguf-split 团结分片文献，呐喊如下：
llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf
llama-gguf-split --merge DeepSeek-R1-Q4_K_M-00001-of-00009.gguf DeepSeek-R1-Q4_K_M.gguf
（若有更好的方法，宽待在驳斥区示知）
报告还分析了问界新M7能取得领先的原因，主要体现在产品和价格都极具竞争力。问界新M7正好卡在25万元价位的附近，并且全系标配智能驾驶，在续航和智驾方面满足了用户的多方面需求，在易车和懂车帝的年度销量排行中屠榜屠了一年，成为了最吃香的那个香饽饽。
日常在大众传播中，被津津乐道的设计理念、丰富配置，抽象为一个「我喜欢」和「你推荐」，在足够的预算面前，购买的过程是否能够提供足够的情绪价值，是豪华车市场购车决策的关键。
疑望 2：
若要修改 ollama 模子保存旅途，可实践以下呐喊：
sudo systemctl edit ollama
并在第二行后（也即是，在 “### Anything between here and the comment below will become the contents of the drop-in file” 和 “### Edits below this comment will be discarded” 之间）插入以下内容：
[Service]
Environment=\"OLLAMA_MODELS=【你的自界说旅途】\"
在这里还可趁机成立 ollama 的其他运行参数，举例：
Environment=\"OLLAMA_FLASH_ATTENTION=1\" # 启用 Flash Attention
Environment=\"OLLAMA_KEEP_ALIVE=-1\" # 保持模子常驻内存
详见官方文档：https://github.com/ollama/ollama/blob/main/docs/faq.md
修改保存后重启 ollama 干事：
sudo systemctl restart ollama