AI本地化 买显卡跑本地大模型前,先用 llmspeed 看看每秒能出几个字:10 款显卡和 Mac 的速度表 llmspeed 是一个免费开源的网页工具:选显卡或 Mac、选模型和量化,它按估算速度把回答一个字一个字打出来,还能判断装不装得下、两套配置赛跑。本文讲怎么用、实测/推算/估算三种标签怎么看,并整理了 RTX 3060 到 5090、Mac、Ryzen AI Max+ 395 的出字速度和首字等待时间。
AI本地化 AirLLM:4GB 显存跑 70B 大模型是真的,但你得知道它有多慢 AirLLM 一次只把模型的一层放进 GPU,让 4GB 显存也能加载 70B 大模型。代价是每生成一个 token 都要从硬盘读一遍模型,用户反馈速度以秒甚至分钟计。本文讲清原理、用法和真实代价。