花 5000 块组了台旧机器跑大模型：能干什么，不能干什么
不服气那些「必须上专业卡」的说法，我用二手硬件攒了一台。结论是有些活能干，有些别硬上。
起因是和同事吵了一架。他说本地跑模型「没个像样的卡别想」，
我说不至于，试了才知道。于是花五千块攒了一台，用了两个月。
一、五千块能买到什么
预算分配大概是：二手显卡占一半多，剩下的给主板、内存和电源。
机箱用的是旧的，硬盘也是从抽屉里翻出来的。
关键经验只有一条：显存比算力重要。
在这类场景里，先看能不能装下，再谈跑得快不快。
二、能干的事
- 小模型的日常对话：流畅，和一些在线服务的中档版本体感接近；
- 长文摘要与翻译：可以，一篇几千字的文章一两分钟；
- 批量文本处理：这是本地部署最划算的地方，不花钱、不限量、数据不外传；
- 代码补全：小模型够用，但复杂逻辑会明显吃力。
三、干不了的事
| 想干的事 | 现实 |
|---|---|
| 跑最新的大模型 | 装不下，别试 |
| 多模态（看图） | 显存吃紧，体验差 |
| 同时多人用 | 排队等到怀疑人生 |
| 要求高准确率的任务 | 还是得用更强的在线模型 |
四、一个被忽略的成本：电
这台机器满载时功耗不低，我专门用插座电表测了一周。
如果一天跑几个小时，一个月的电费比想象中贵，
再加上风扇的噪音，放在卧室基本不现实。
五、它真正的价值在哪
两个月用下来，我认为本地部署最值钱的不是「免费」，
而是数据不出门和不限次数。
有些内容我不太愿意上传，放在本地就完全没有这个顾虑；
有些任务我需要反复跑很多遍，本地跑不用心疼。
所以它的定位很清楚：不是替代在线模型，而是补上它不能做的那部分。
六、给想试的人的建议
- 先想清楚你要跑什么，再决定买什么，别反过来；
- 显存第一，别被跑分带跑；
- 二手硬件能省一半钱，但电源别省；
- 想清楚噪音和电费，它是要放在家里的。
下面是当时整理的模型与显存对照，含我实测过的几个组合，需要的可以下载。