近段时间，很多文章都在吹捧Unsloth Desktop，都说其可以完全替代Ollama和LMStudio！
作为AI深度使用者，那当然不能放过这么好用的工具啊，就像古代剑客一样寻得宝剑一样高兴了！但是这么多年的互联网经验告诉我，网上的信息可信度都得先打个问号。
不过，无论相信还是存疑，都得赶紧下载安装测试，实践是检验真理的标准嘛！
下载
直接到官网：https://www.unsloth.ai/
已经直接识别到我使用的是windows操作系统，已经打包好适用于wondows10/11的安装包了，也可以在powershell中打入命令irm
https://unsloth.ai/install.ps1 | iex进行安装。（另外的MAC和Linux包也有，也可以直接在命令行安装。这个不是本次重点，不展开说）
安装
下载后直接安装，原来想着怎么就只有41M这么小呢！没想到这个也就仅仅是安装引导模块。安装后，再次运行，这次才是真正的安装过程。可能是我的网络不太好，或者是由于国内网络的原因，安装时间特别长，长到我都怀疑人生了！每隔半小时我都看下进度，在4个半小时时候我快崩溃了，最终用了5个多小时才能完成安装！
界面
经过漫长的等待，终于安装完成。打开界面，确实感觉挺干练的，除了常规的聊天对话框外，还包括项目、图像、视频、音频，以及模型中心、API。他的特色就是最大的区别于其他工具的地方，在于他还有“训练、配方”。这几天时间，都在这些个界面中，不断地测试使用。
Unsloth测试版本
因为这个desktop是个beta版本，肯定会有很多Bug的，为了测试顺利，还是更新到最新的版本v0.1.803-beta。也有可能这个最新版在修正原来的Bug时候又引入了新的Bug，但不管了，这几天原来用的v0.1.801-beta实在太多Bug了，动不动就没反应假死。
测试的大模型
对于测试模型，那就用现在大火的Qwen3.8-27B。由于我在LMStudio中已经下载了该模型的GGUF文件了，本来想直接使用该文件。但后来看到Unsloth自己宣传的他们独特的Unsloth Dynamic 3.0 GGUFs模型文件，能比传统的gguf文件性能上提升10%以上，准确率也能提升1%！那肯定使用他这种专属模型文件了。
这种Dynamic 3.0 GGUFs模型文件专属格式，文件名除了带有UD外，还有XL的标志。
ok，选择这个专属模型文件后，按照Unsloth官方的设置参数进行设置
Unsloth官方Qwen3.8-27B设置参数
整体的硬件和操作系统环境
Windows 11 专业版，版本号 25H2，功能包 Windows 功能体验包 1000.26100.344.0
CPU/GPU：AMD RYZEN AI MAX+ 395 w/ Radeon 8060S “,16核32线程。
内存/显存：128GB（64GB+64GB）
ok，那我们测试还是按照三种不同的驱动进行测试：Vulkan、ROCm、CPU。
Vulkan驱动
启用Vulkan驱动后，顺利加载Dynamic 3.0 GGUFs专属格式模型文件Qwen3.8-27B-UD-Q4-K-XL，思考模式设置为medium中等。我们测试多种模式，包括MTP、DSPark、Dflash、Ngram、MTP+Ngram，以及Off，共6种模式下的结果。
MTP模式：
设置中启用MTP，其他参数如下：
MTP测试结果：
GPU显存使用了39.3GB。
文本模式下，与之前测试LMStudio一样的短篇小说，思考时间用了18秒，推理的Token输出速率为13.3token/s。与LMStudio对比起来有点慢。
DSpark模式：
设置中选择DSpark，其他参数一样：
DSpark测试结果：
GPU显存使用了35.5GB。
思考时间同样用了18秒，推理的Token输出速率下降了一点，为12.0token/s。
Dflash模式：
设置中选择DFlash，其他参数一样：
测试结果：
GPU显存使用35.6GB。
思考时间减少了1秒，用了17秒，推理的Token输出速率为12.2token/s。
Ngram模式：
设置中选择Ngram，其他参数一样：
测试结果：
GPU显存使用了35.6GB。
思考时间和推理速度与DFlash一样，思考时间17秒，推理速率为12.2token/s。
MTP+Ngram模式：
设置中选择Ngram，其他参数一样：
测试结果：
GPU显存使用了38.2GB。
思考时间和推理速度提高明显，思考时间为11秒！推理速率为18.5token/s。
Off模式：
设置中选择Off，其他参数一样：
测试结果：
GPU显存使用了35.5GB。
思考时间明显变慢了，为23秒；推理速率为12.2token/s。
小结：Vulkan驱动下6种模式的GPU显存使用及思考时间和推理速度的结果比较。
测试出来这样的结果，大家觉得怎么样？
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...