前言

在上一篇文章中，我們成功安裝了 llama.cpp。但要實際運行 LLM，我們還需要模型檔案。當你在網路上搜尋 llama.cpp 相容的模型時，會不斷看到「GGUF」這個詞，以及「Q4_K_M」、「Q8_0」這類神秘代號。

這篇文章會帶你理解這些術語的含義，並教你如何從 Hugging Face 下載適合自己硬體的模型。

GGUF 是什麼？

一句話解釋

GGUF（GPT-Generated Unified Format）是 llama.cpp 使用的模型檔案格式，專門為了在個人電腦上高效運行 LLM 而設計。

為什麼需要 GGUF？

當你下載 Hugging Face 上的原始模型（通常是 PyTorch 格式的 .safetensors 或 .bin 檔案）時，會面臨幾個問題：

1. 檔案太大：原始的 Llama 3 8B 模型約 16GB
2. 需要 GPU：原始格式通常需要完整的 CUDA 環境
3. 記憶體需求高：載入時需要大量 RAM/VRAM

GGUF 格式解決了這些問題：

原始模型 (FP16)          GGUF 量化模型 (Q4_K_M)
├── 16GB 檔案大小   →    ├── 4.5GB 檔案大小
├── 需要 16GB+ VRAM →    ├── 可用 CPU 運行
└── 僅支援 GPU      →    └── CPU/GPU 混合運行

GGUF vs GGML

如果你看過較舊的教學文章，可能會看到「GGML」格式。GGUF 是 GGML 的後繼者：

結論：現在只需要找 GGUF 格式的模型。

量化是什麼？

基本概念

「量化」（Quantization）是將模型參數從高精度數字轉換為低精度數字的技術。

想像一下：

原始精度 (FP16)：每個參數用 16 位元儲存
  → 能表示非常精確的數值
  → 但佔用大量空間

量化後 (Q4)：每個參數只用 4 位元儲存
  → 數值精度降低
  → 但大小減少到 1/4

這就像是把一張 RAW 照片轉成 JPEG：檔案變小了，但肉眼幾乎看不出差異。

為什麼量化有效？

研究發現，LLM 的參數有很大的冗餘。即使把精度從 16 位元降到 4 位元，模型的輸出品質下降得比預期小很多。這讓我們能在普通電腦上運行原本需要伺服器級硬體的模型。

常見量化等級比較

在 Hugging Face 上，你會看到各種量化等級的模型。以下是常見的選項：

量化等級對照表

命名規則解讀

以 Q4_K_M 為例：

Q4_K_M
│ │ │
│ │ └── M = Medium（中等）
│ │     還有 S (Small) 和 L (Large)
│ │
│ └──── K = K-quant 方法
│       較新的量化技術，品質更好
│
└────── 4 = 平均每參數 4 位元

如何選擇？

入門建議：從 Q4_K_M 開始

這是性價比最高的選擇，能在大多數電腦上運行，品質也夠好。

選擇流程：

你有多少 RAM/VRAM？
│
├── 8GB 或以下
│   └── 選擇 7B 模型的 Q4_K_M 或 Q3_K_M
│
├── 16GB
│   └── 選擇 7B 模型的 Q5_K_M 或 Q8_0
│       或 13B 模型的 Q4_K_M
│
└── 32GB 或以上
    └── 可以嘗試更大的模型或更高的量化等級

從 Hugging Face 下載模型

Hugging Face 是什麼？

Hugging Face 是 AI 社群最大的模型分享平台，就像是 AI 模型的 GitHub。大部分開源 LLM 都會在這裡發布。

找到 GGUF 模型

不是所有模型都有 GGUF 版本。幸運的是，有專門的社群成員會將熱門模型轉換成 GGUF 格式。最知名的是 TheBloke 和 bartowski。

搜尋技巧：

在 Hugging Face 搜尋：[模型名稱] GGUF

例如：
- llama 3 GGUF
- qwen 2.5 GGUF
- mistral GGUF
Code language: CSS (css)

下載方法一：直接下載

1. 前往 Hugging Face 模型頁面
2. 點選「Files and versions」標籤
3. 找到你要的量化版本（例如 *-Q4KM.gguf）
4. 點選下載按鈕

下載方法二：使用 huggingface-cli（推薦）

安裝 CLI 工具：

pip install huggingface_hub

下載特定檔案：

huggingface-cli download \
  bartowski/Llama-3.2-3B-Instruct-GGUF \
  --include "Llama-3.2-3B-Instruct-Q4_K_M.gguf" \
  --local-dir ./models
Code language: PHP (php)

這個方法的好處是支援斷點續傳，網路不穩時不用從頭下載。

下載方法三：直接用 wget/curl

如果你知道檔案的直接網址：

wget https://huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF/resolve/main/Llama-3.2-3B-Instruct-Q4_K_M.gguf
Code language: JavaScript (javascript)

如何判斷記憶體需求

估算公式

粗略估算：

記憶體需求 ≈ 模型檔案大小 × 1.2
Code language: CSS (css)

例如，一個 4.5GB 的 GGUF 檔案大約需要 5.4GB RAM 來運行。

實際範例

以 Llama 3.2 3B 為例：

檢查你的系統

macOS：

# 查看可用記憶體
sysctl hw.memsize
Code language: CSS (css)

Linux：

# 查看記憶體資訊
free -h
Code language: PHP (php)

Windows：

# 在 PowerShell 中
Get-CimInstance Win32_ComputerSystem | Select-Object TotalPhysicalMemory
Code language: PHP (php)

推薦的入門模型

1. Llama 3.2 3B Instruct

最適合入門的選擇，Meta 官方出品：

• 優點：小巧、快速、中文能力可接受
• 下載：搜尋 Llama-3.2-3B-Instruct-GGUF
• 建議量化：Q4KM（約 2GB）

2. Qwen 2.5 7B Instruct

阿里巴巴出品，中文能力優秀：

• 優點：中文理解最佳、知識豐富
• 下載：搜尋 Qwen2.5-7B-Instruct-GGUF
• 建議量化：Q4KM（約 4.5GB）

3. Mistral 7B Instruct

法國 Mistral AI 出品，英文任務表現優異：

• 優點：推理能力強、程式碼能力好
• 下載：搜尋 Mistral-7B-Instruct GGUF
• 建議量化：Q4KM（約 4GB）

新手快速開始

如果你的電腦有 8GB 以上記憶體，建議從這個開始：

# 下載 Llama 3.2 3B Q4_K_M
huggingface-cli download \
  bartowski/Llama-3.2-3B-Instruct-GGUF \
  --include "Llama-3.2-3B-Instruct-Q4_K_M.gguf" \
  --local-dir ./models
Code language: PHP (php)

這個模型約 2GB，即使是較舊的筆電也能順暢運行。

驗證模型檔案

下載完成後，可以用 llama.cpp 的工具檢查模型資訊：

# 顯示模型基本資訊
./llama-cli --model models/Llama-3.2-3B-Instruct-Q4_K_M.gguf -n 0

# 只載入模型不生成，可以看到模型詳細資訊
Code language: PHP (php)

你會看到類似這樣的輸出：

llm_load_print_meta: model type       = 3B
llm_load_print_meta: model ftype      = Q4_K_M
llm_load_print_meta: model params     = 3.21 B
llm_load_print_meta: model size       = 1.93 GiB (4.87 BPW)
Code language: HTTP (http)

這表示模型載入成功，可以開始使用了。

常見問題

Q: 量化會讓模型變笨嗎？

A: 會有輕微影響，但 Q4_K_M 以上的量化等級在大多數任務上幾乎看不出差異。只有在需要精確數學計算或非常複雜的推理時，才可能注意到品質下降。

Q: 我應該用 CPU 還是 GPU 運行？

A: 如果你有 NVIDIA 顯卡且 VRAM 足夠容納模型，GPU 運行會快很多。否則 CPU 運行也完全可行，只是生成速度較慢。

Q: 下載的模型檔案損壞了怎麼辦？

A: 使用 huggingface-cli 下載時會自動驗證檔案。如果手動下載，可以比對網頁上顯示的 SHA256 值。

Q: 同一個模型有多個 GGUF 來源，該選哪個？

A: 選擇下載次數多、更新時間近的版本。bartowski 和 TheBloke 是最可信的轉換者。

本篇重點整理

• GGUF 是 llama.cpp 使用的模型格式，取代了舊的 GGML
• 量化透過降低參數精度來減少模型大小，使其能在一般電腦運行
• Q4KM 是入門推薦的量化等級，兼顧品質與大小
• 從 Hugging Face 下載模型，搜尋「模型名 GGUF」
• 記憶體需求約為模型檔案大小的 1.2 倍

下一步

現在你已經有了模型檔案，下一篇文章會教你如何實際運行 llama.cpp，包括命令列互動、調整生成參數、以及啟動 API 伺服器。