友情链接：
金磊 发自 凹非寺量子位 | 公众号 QbitAI迪士尼彩乐园彩票网址
堪称地表最强的M3 Ultra，土产货跑满血版DeepSeek R1，服从到底如何？
其实，有些DeepSeek玩家们也曾提前拿得手作念过实测了。
邓少东亲自检查了警卫工作及各项接待工作，匆匆吃过早饭，来到军区大礼堂门前。他看了看手表，时针指着9点50分。
例如这位Alex老哥即是其中之一：
他提前拿到了两台搭载M3 Ultra的Mac Studio，成就是这么的：
M3 Ultra（32 核中央搞定器、80 核图形搞定器和 32 核神经汇聚引擎）512G合股内存1TB固态硬盘
具体来说，Alex老哥用配备Thunderbolt 5互连本事（传输速率为 80Gbps）的EXO Labs拓荒，来动手齐备的DeepSeek R1模子（671B、8-bit）。
然后服从是这么的：
视频地址：https://mp.weixin.qq.com/s/wkuGZ-woRgcz8Ks0STtUDQ
嗯，跑通了！
Alex老哥示意，两台Mac Studio土产货跑满血版DeepSeek R1，本色速率是11 tokens/秒，表面上不错达到20 tokens/秒。
至于价钱嘛，一台上述成就的Mac Studio是74249元，两台即是小15万元。
大要好多小伙伴以为这个价钱有点略贵。
但在M3 Ultra之前啊，如若你念念在土产货使用显卡来推理V3或R1，那么就得起码需要6、7张A100……节略小100万元。
也正因如斯，也有不少网友认为搭载M3 Ultra的Mac Studio，堪称是“性价比最高的大模子一体机”。
值得郑重的是，苹果此次似乎是主动给DeepSeek玩家们提前发货，有种让他们速即测一测的意味。
毕竟在发布之际，迪士尼彩乐园3苹果就强调了不错在M3 Ultra版Mac Studio中跑跨越6000亿参数的大模子。
掀翻一波土产货跑DeepSeek的风
其委果M3 Ultra版Mac Studio发布前后，也曾有不少东说念主作念过访佛的评测。
例如B站博主“天然然则张黑黑”的测试竣事是：
15.78 tokens/秒：禁受Ollama的GGUF要津19.17 tokens/秒：禁受更相宜苹果的MLX要津
这个速率也曾跟在线使用DeepSeek R1的速率相忘形了。
除此以外，像外网博主Xcreate还把M3 Ultra版Mac Studio和M4 Max版Macbook Pro的拉到一个“擂台”作念了比拟。
最初从性能上来看，Geekbench测试的竣事流露，M3 Ultra在CPU性能方面与M4 Max卓著接近，但M3 Ultra后发先至。
在土产货动手大模子测试方面，博主在动手基于Llama的DeepSeek R1 70B模子时，M3 Ultra的速率为11.3 tokens/ 秒，而M4 Max测试竣事为10.69 tokens/秒，差距并不是很大。
但更蹙迫的是测试满血版DeepSeek R1的竣事。
对此，博主认为在土产货齐备动手671B的DeepSeek是有点不毛的，因为也曾有东说念主宣告失败。
但也有见效的例子。
他例如另一位评测东说念主员的竣事，流露是动手8bit量化版块的DeepSeek R1，赢得了9-21 tokens/秒的速率。
而在4bit量化版情况下，速率为16-18 tokens/秒。
至于为什么体量更大的671B的DeepSeek，会比70B动手速率更快，是因为DeepSeek将671B模子分片为 “群众搀杂体”，本色动手时字据问题切换，访佛动手30B的模子。
终末，博主也教导念念要在土产货动手大模子的友友们，网传苹果将在本年WWDC上发布M4 Ultra，是以不错再不雅望一下。
参考运动：[1]https://x.com/alexocheema/status/1899604613135028716[2]https://www.bilibili.com/video/BV1nkRnYTEWx/
下一篇：没有了