之前在网络上看到了很多本地部署大模型的说法我一直没有尝试总觉得这个东西可能会比较难不一定能够快速的掌握起来。这个周末还是有点忍不住好奇之心找了几个简单的教程看了看发现这个东西部署起来原来是这么的容易基本上就跟装个软件也没有什么太大的区别。但是我的电脑配置相对来说比较低于是就尝试了几个非常小的模型参数非常小。用下来之后发现推理的结论与我自己已知的信息相差非常大有的推理过程以及给出来的结果完全是胡说八道。我也下载了几个专门针对 coder 的模型原本还有所期待觉得这种针对性的模型可能虽小但能力不错。但是实际使用的体验还是非常的不好写个简单的 Python 脚本都会出错。有时候还会写一半就停下来也不知道是为什么。如果你说是 token 消耗的太多看消耗的 token 量似乎也不是这个问题。但是它就是停下来了。当然我只是拿来做一做体验进行反复的对比而已。即便是这样在对比的过程之中我也总有一种冲动去直接把我想要写的脚本需求贴到 DeepSeek 的官网上的 chat 窗口里或者直接发给豆包。甚至发给千问我觉得他们三个基本上都能够一分钟左右就能够把我需要的这个脚本给我写完大概率还是一点错误都没有。相应的小脚本我之前让 DeepSeek 给我写过而且运行得非常好。今天我把同样的需求又发给了 DeepSeek它给我了一个完全不同的解决方案。但是我直接按照它的方案再次测试这个功能也是一点问题都没有。相比之下这几个小模型除了微软的那个纯 CPU 的小模型表现还差强人意之外其他的小模型用起来真的是不是那么顺手总是让人感觉到急躁。但是微软的这个小模型在我的电脑上使用的时候也有一个问题。我的电脑是 Surface Pro 5I7 处理器的版本配了 16G 的内存全都是固态硬盘。我发现只要是运行微软的这个小模型CPU 就是 100%这个我是理解的。但是 CPU 100% 的同时它会断网断网有时候还会导致以后直接搜不出来网络这就是一个很神奇的现象了不知道是一个什么冲突导致的。我知道这很大的原因是因为我的电脑配置不行导致的于是我就想去尝试搜索一下配置一个大模型表现比较好的那种需要什么样的电脑配置。比如说我不去使用满血版本的 DeepSeek V4 Pro我使用 DeepSeek 的 V4 Flash。结果发现即使是这样的一个配置需要的一台机器可能也是二三十万才能搞得定满血的体验。难怪目前这么多人都去买 API token当前的这个价格的确是让很多普通的消费者直接止步了。现在也有一些其他的电脑方案可能几千块钱或者是 1 万元左右或者是两三万也能够进行一些流畅的本地大模型部署只是参数量不是那么大。但是我猜测这样的模型在解决问题上可能并不是能够带来很好体验的那种。经过了这两周多的各种尝试收费的、免费的、本地的、各种各样。我自己总结出来的经验可能还是如果是比较重要的事情自己的确需要这种深度分析而且需要一定的工作流的时候那就直接去买 API token。如果是简单的文本分析或者是文件分析那么直接去使用免费的 DeepSeek 和豆包可能给我们的体验会更好。至于什么本地部署之类的感兴趣的话就当做兴趣玩一玩。想把这个搞成一个很顺手的生产力工具我感觉至少在汽车电子嵌入式这方面目前还是行不通。
