手元のPCで動かす
Hugging Face · llama.cpp · 2026-11-03入る大きさ
入る最大 14B Qwen3-14B GPU · 16GB · 4k · 16bit
- 使える
- 16.0 GB
- 書く（7B）
- — トークン/秒
- 読む（7B）
- — トークン/秒
- 4B Qwen3-4B-Instruct-2507 入る · 3.9GB
- 8B Qwen3-8B 入る · 6.2GB
- 14B Qwen3-14B 入る · 10.0GB
- 30B-A3B Qwen3-30B-A3B-Instruct-2507 入らない · 18.7GB
- 32B Qwen3-32B 入らない · 20.4GB
- 72B Qwen2.5-72B-Instruct 入らない · 43.2GB
- 235B-A22B Qwen3-235B-A22B-Instruct-2507 入らない · 134GB
速さ（Llama 2 7B・Q4_0 の実測）
機種ごと 57
| 機種 | 書く（トークン/秒） | 読む（トークン/秒） |
|---|---|---|
| GPU RTX 5090（32GB） | 290.0 | 14,073 |
| GPU RTX 4090（24GB） | 186.2 | 11,993 |
| GPU RTX 5080（16GB） | 182.0 | 8,297 |
| Mac M5 Ultra（GPU 80コア） | 179.1 | 4,945 |
| GPU RTX 5070 Ti（16GB） | 176.8 | 6,952 |
| GPU RTX 3090 Ti（24GB） | 171.2 | 6,567 |
| GPU RTX 3090（24GB） | 158.2 | 5,175 |
| GPU RTX 5090 Laptop（24GB） | 156.5 | 6,667 |
| GPU RTX 4080 SUPER（16GB） | 148.3 | 8,125 |
| GPU RTX 4080（16GB） | 142.5 | 8,032 |
| GPU RTX 3080（10GB） | 139.7 | 5,014 |
| GPU RTX 4070 Ti SUPER（16GB） | 132.3 | 6,925 |
| GPU RTX 5070（12GB） | 127.5 | 5,185 |
| Mac M5 Max（GPU 40コア） | 119.9 | 3,220 |
| GPU RTX 2080 Ti（11GB） | 107.5 | 2,891 |
| Mac M2 Ultra（GPU 76コア） | 94.3 | 1,238 |
| Mac M3 Ultra（GPU 80コア） | 92.1 | 1,471 |
| GPU RTX 5060 Ti（16GB） | 90.9 | 3,737 |
| Mac M2 Ultra（GPU 60コア） | 88.6 | 1,014 |
| Mac M3 Ultra（GPU 60コア） | 88.4 | 1,073 |
| GPU RTX 2070 SUPER（8GB） | 88.1 | 2,088 |
| Mac M1 Ultra（GPU 64コア） | 83.7 | 1,030 |
| Mac M4 Max（GPU 40コア） | 83.1 | 886 |
| GPU RTX 3060（12GB） | 75.6 | 2,138 |
| Mac M1 Ultra（GPU 48コア） | 74.9 | 772 |
| Mac M4 Max（GPU 32コア） | 70.0 | 714 |
| Mac M5 Pro（GPU 16コア） | 67.6 | 1,340 |
| Mac M5 Pro（GPU 20コア） | 66.3 | 1,621 |
| Mac M3 Max（GPU 40コア） | 66.3 | 760 |
| Mac M2 Max（GPU 38コア） | 66.0 | 671 |
| GPU RTX 4060 Ti（8GB） | 63.9 | 3,395 |
| GPU GTX 1080 Ti（11GB） | 62.5 | 1,084 |
| Mac M1 Max（GPU 32コア） | 61.2 | 530 |
| Mac M2 Max（GPU 30コア） | 61.0 | 538 |
| GPU RTX 2060 SUPER（8GB） | 60.0 | 1,420 |
| Mac M3 Max（GPU 30コア） | 56.6 | 568 |
| Mac M1 Max（GPU 24コア） | 54.6 | 400 |
| Mac M4 Pro（GPU 20コア） | 50.7 | 440 |
| Mac M4 Pro（GPU 16コア） | 49.6 | 364 |
| GPU RTX 4050 Laptop（6GB） | 43.7 | 1,726 |
| GPU GTX 1660（6GB） | 41.4 | 149 |
| Mac M2 Pro（GPU 19コア） | 38.9 | 341 |
| Mac M2 Pro（GPU 16コア） | 37.9 | 294 |
| GPU GTX 1070 Ti（8GB） | 37.8 | 714 |
| Mac M1 Pro（GPU 16コア） | 36.4 | 266 |
| Mac M6（GPU 8コア） | 35.7 | 989 |
| Mac M1 Pro（GPU 14コア） | 35.5 | 233 |
| Mac M5（GPU 10コア） | 31.9 | 723 |
| Mac M3 Pro（GPU 18コア） | 30.7 | 342 |
| Mac M3 Pro（GPU 14コア） | 30.6 | 269 |
| GPU GTX 1060（6GB） | 27.8 | 417 |
| Mac M4（GPU 10コア） | 24.1 | 221 |
| Mac M2（GPU 10コア） | 21.9 | 180 |
| Mac M2（GPU 8コア） | 21.7 | 146 |
| Mac M3（GPU 10コア） | 21.3 | 187 |
| Mac M1（GPU 7コア） | 14.2 | 108 |
| Mac M1（GPU 8コア） | 14.2 | 118 |
ツールにつなぐ
| ツール | 会話の長さ | 設定 | 出典 |
|---|---|---|---|
| Ollama | 既定 4k（24GB 未満）→ エージェントは 64000 以上 | Ollama アプリ 設定のスライダー OLLAMA_CONTEXT_LENGTH=64000 OLLAMA_KV_CACHE_TYPE=q8_0 ollama serve 8bit は Flash Attention が使えるときだけ効く | docs.ollama.com docs.ollama.com |
| OpenCode | 64k 以上 | ollama launch opencode ツール呼び出しに強いモデルを選ぶ | docs.ollama.com opencode.ai |
| Claude Code | 32k 以上 | export ANTHROPIC_AUTH_TOKEN=ollamaexport ANTHROPIC_BASE_URL=http://localhost:11434claude --model <model> Anthropic は Claude 以外のモデルでの利用をサポートしない | ollama.com code.claude.com |
| Cline | — | Use Compact Prompthttp://localhost:11434 | docs.cline.bot |
| Aider | 自動で合わせる | aider --model ollama_chat/<model> Ollama ははみ出した会話を黙って捨てる | aider.chat |
| llama-server | -c で指定 | llama-server --jinjahttp://127.0.0.1:8080/v1 | github.com opencode.ai |
言葉
- 8B・32B
- モデルの大きさ。B = 10億（パラメータの数）
- 30B-A3B
- 全体は 30B、トークンごとに動くのは 3B（MoE）。メモリは全体の分が要る
- トークン・k
- AI が文章を区切って数える単位。4k = 4,096 トークン
- 会話の記憶
- それまでの会話を覚えておくメモリ（KV キャッシュ）。会話が長いほど増える
- 8bit ½
- 会話の記憶を 8bit で持ち、量をおよそ半分にする
- 重み
- モデル本体のファイル。ここでは Q4_K_M（1つの値を約 4.9bit で持つ形）
- 書く・読む
- 1秒に書き出すトークンの数・読み込むトークンの数（Llama 2 7B・Q4_0 の実測）
計算と出典
- 重み
- 公式 GGUF（Q4_K_M）の実サイズ ≈ パラメータ数 × 4.8944 ÷ 8（差 ±1.5% 以内）
- 会話の記憶
- 2 × 層 × KV ヘッド × ヘッドの次元（128）× 2 バイト × 長さ （8bit は 1.0625 バイト。長さはモデルの最長まで）
- 余白
- 1 GB（llama.cpp が残す量）
- Mac の使える量
- メモリ × 2/3（32GB 以下）、× 3/4（32GB より上）
- GB
- 1024³ バイト（OS の表示と同じ）
| モデル | 層 | KV ヘッド | 最長 | 重み GB |
|---|---|---|---|---|
| Qwen3-4B-Instruct-2507 | 36 | 8 | 256k | ≈ 2.3 |
| Qwen3-8B | 36 | 8 | 32k | 4.7 |
| Qwen3-14B | 40 | 8 | 32k | 8.4 |
| Qwen3-30B-A3B-Instruct-2507 | 48 | 4 | 256k | ≈ 17.3 |
| Qwen3-32B | 64 | 8 | 32k | 18.4 |
| Qwen2.5-72B-Instruct | 80 | 8 | 32k | 41.0 |
| Qwen3-235B-A22B-Instruct-2507 | 94 | 4 | 256k | ≈ 132 |
≈ 作りが同じ元の版の公式 GGUF の大きさ（2507 版には公式 GGUF が無い）
- llama.cpp quantize README（bits/weight の表）
- Kwon ら 2023 PagedAttention（KV キャッシュの計算）
- llama.cpp PR #7412（KV キャッシュの q8_0 は 8.50 bit）
- Ollama FAQ（K/V キャッシュの量子化）
- Ollama Context length
- Ollama OpenCode
- Ollama Blog: Claude Code with Anthropic API compatibility
- Claude Code Docs: Other LLM gateways
- OpenCode Providers
- Cline Local models
- Aider Ollama
- llama.cpp Function Calling
- Performance of llama.cpp on Apple Silicon M-series #4167
- Performance of llama.cpp on Nvidia CUDA #15013
- llama.cpp #2182（macOS の GPU 用に回す割合のコード）
- M1 Pro 16GB のログ（11453.25 MB）
- M3 Pro 18GB のログ（12884.92 MB）
- M1 Max 32GB のログ（22906.50 MB）
- M1 Max 64GB のログ（49152.00 MB）
- robustonian: Mac で使用できる VRAM を拡張する方法（128GB で 96GB）
- NEC LAVIE: タスクマネージャーから GPU の状態を確認する方法
- Apple: Mac で「情報」設定を表示する
確認 2026-11-03