本地编码

协议

  1. 锁的是显存/统一内存,不是 TFLOPS。
  2. 权重能进卡 ≠ 目标上下文能进(KV 税)。
  3. 本地 token 标价约 $0;你仍要付电费与折旧。

内存档位

高亮列 = 该内存档的美元参考区间(括号内为中位规划值)。

档位 美元参考(档) 典型类别 最大参数(Q4 级) 工作负载
16GB $250–$750 ($450) RTX 4060 / 5060 Ti 16GB class / Mac 16GB unified 8B 补全 / 短对话
24GB $1.4k–$3.2k ($2.2k) RTX 4090 24GB / Mac 24–32GB unified 32B 补全 / 短对话 · 仓库级编码智能体
32GB $2k–$5.5k ($3.8k) RTX 5090 32GB class / Mac 32–36GB unified 40B 补全 / 短对话 · 仓库级编码智能体 · 长上下文审阅
48GB $2.5k–$7k ($4.5k) 48GB workstation / dual-24 class / Mac 64GB unified 70B 补全 / 短对话 · 仓库级编码智能体 · 长上下文审阅
80GB $6k–$14k ($9k) 80GB-class pro card / Mac Studio 96–128GB 120B 补全 / 短对话 · 仓库级编码智能体 · 长上下文审阅
128GB $8k–$18k ($12k) Mac Studio 128–192GB / multi-GPU desk 180B 补全 / 短对话 · 仓库级编码智能体 · 长上下文审阅
512GB $18k–$45k ($28k) Mac Studio 512GB / multi-GPU rack 480B 补全 / 短对话 · 仓库级编码智能体 · 长上下文审阅

代表性 SKU 参考价(美元)

显卡卡价或整机统一内存档。Mac 行是整机统一内存,不是独立 GPU 标价。

档位 SKU / 类别 美元参考
16GB RTX 4060 Ti / 5060 Ti 16GB class (card) $300–$550
16GB Used RTX 3090 / 3080 Ti class (often 12–24GB) $400–$900
24GB RTX 4090 24GB (used/new street) $1.5k–$2.8k
24GB Used dual-12GB / single-24GB workstation class $1.2k–$2.5k
32GB RTX 5090 32GB (MSRP vs street — volatile) $2k–$5.1k
48GB Dual used RTX 3090 (2×24GB) system delta $2k–$3.5k
48GB Mac Studio / Pro ~64GB unified (device, not GPU-only) $2.5k–$4.5k
80GB Pro / datacenter 80GB-class (A100 80 / H100 80 street) $8k–$25k
80GB Mac Studio Ultra ~96–128GB unified (device) $5k–$9k
128GB Mac Studio high unified config (device) $7k–$15k
128GB Multi-GPU desk (2×32–48GB class) $7k–$16k
512GB Mac Studio max unified / mini-cluster class $15k–$40k

NVIDIA · AMD · Intel · Apple

本地编码推理以 CUDA / Metal 为一等公民。AMD 与 Intel 可以有限可用——买之前先读清「为什么不行/半不行」。

一等公民

NVIDIA(桌面 / 专业)

CUDA 是默认路径:Ollama、llama.cpp(CUDA)、vLLM、SGLang。文档、GGUF 生态与智能体工具最全。预算给书桌编码卡时,优先 NVIDIA。

有限支持

AMD(Radeon / Instinct)

能用,但不是一等公民。ROCm 随卡型/系统覆盖不均;大量编码应用与 GGUF 路径默认 CUDA。llama.cpp 的 Vulkan/ROCm 构建可以跑,但上手慢、教程少,vLLM/SGLang 书桌故事更弱。仅当你已有 AMD 卡或接受折腾时再选——不要把它当成「便宜就能上本地 Cursor 智能体」的捷径。

有限支持

Intel(Arc / Xe / 独显)

严肃本地编码智能体场景偏实验性。虽有 SYCL/oneAPI 与 llama.cpp 后端,但 Arc 显存上限、驱动成熟度、以及 CUDA 中心工具链缺失,使 Intel 不宜作为 SWE 向工作站主路径。机器里已有卡可以轻量试;不要单独为 Arc 规划编码工作站。

一等公民(统一内存)

Apple Silicon

不是独显路径——统一内存 + MLX(或 llama.cpp/Ollama)。$/GB 贵但运维简单。档位与 SKU 表见整机美元区间。

TCO 对照 API

示意回本:三年摊销的月度 capex + 电费,对比 OpenRouter 上一次 100K+20K 编码任务。

档位 中位 capex(类) 回本任务数 / 月
16GB $450 1112
24GB $2.2k 4970
32GB $3.8k 8497
48GB $4.5k 10040
80GB $9k 19961
128GB $12k 26575
512GB $28k 61848

别买清单

  • ≤16GB 笔记本硬上 70B 权重。
  • 24GB 卡指望 480B 级 coder 下载。
  • 个人 SWE 为补全去买 H100 / 机柜级。

← 本地编码首页

假设与来源

硬件档是「类」+ 美元参考区间(非街价报价)。显存估算用 curated GGUF 体积 + 按规模的 KV 系数。编码分为手写 SWE/Aider/LiveCode/HumanEval 参考——非 harness 复现。API 任务成本取 OpenRouter 主 listing(若有)。

硬件美元数字为约 2026 年中的规划参考区间。下单前请核对自己渠道的实时街价。