AI
1 分钟阅读
本地大模型跑不动时,先别急着换显卡:用 QuantProbe 把模型、量化与内存分层算清楚
本地运行大模型时,最常见的失败路径是先下载十几 GB 的 GGUF,再反复改 -ngl、上下文长度和量化等级。最后即使能启动,也未必知道瓶颈在显存、系统内存带宽、磁盘,还是模型的 MoE 专家层。更麻...