Belajar AI #24: GGUF & Quantization — Menjalankan Model AI di Komputer Sendiri

Konsepnya mirip seperti format .onnx atau .pb, tetapi GGUF dirancang khusus untuk efisiensi inferensi lokal. Semua yang dibutuhkan model ada dalam satu file — tidak ada dependencies terpisah.

Hugging Face Hub: Sumber Model GGUF

Hugging Face Hub adalah toko model AI terbesar saat ini. Untuk mencari model GGUF, langkah-langkahnya:

1. Buka huggingface.co/models
2. Gunakan filter Format: GGUF di sidebar kiri
3. Pilih model (misalnya Llama 3.1, Mistral, Qwen) lalu buka tab Files and versions
4. Cari file yang diakhiri .gguf — biasanya ada beberapa versi quantization
5. Klik ikon download atau gunakan huggingface-cli untuk batch download

Beberapa organisasi seperti TheBloke dan bartowski terkenal karena meng-quantize ratusan model ke format GGUF dengan berbagai level. Ini sangat membantu karena tidak semua model asli tersedia dalam format GGUF — banyak yang harus di-convert dulu dari format safetensors/transformers.

# Install Hugging Face CLI
pip install huggingface-hub

# Download model spesifik (misal Llama 3.1 8B Q4_K_M)
huggingface-cli download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF \
  --include "*Q4_K_M*" \
  --local-dir ./models

Ollama: LLM Lokal Sekali Perintah

Ollama membungkus llama.cpp jadi pengalaman semudah Docker: satu binary, pull model, langsung chat. Perintah yang saya pakai harian:

# Install (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# Unduh & jalankan model
ollama run llama3.1:8b

# Lihat daftar model lokal
ollama list

# Server API kompatibel OpenAI di localhost
ollama serve
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1:8b",
  "messages": [{"role": "user", "content": "Halo, tes koneksi."}]
}'

Custom Modelfile: Fine-Tune Behavior

Salah satu fitur Ollama yang saya sukai adalah kemampuan membuat Modelfile — semacam Dockerfile untuk model AI. Dengan Modelfile, kita bisa menyesuaikan system prompt, parameter sampling, bahkan menggabungkan dua model.

# Buat file Modelfile
cat > Modelfile << 'EOF'
FROM llama3.1:8b

SYSTEM "Anda adalah asisten AI yang selalu menjawab dalam bahasa Indonesia dengan gaya santai dan informatif. Gunakan analogi untuk menjelaskan konsep teknis."

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096
EOF

# Build model kustom
ollama create assistant-id-local -f Modelfile

# Jalankan
ollama run assistant-id-local

Dengan Modelfile, Anda tidak perlu coding sama sekali untuk menyesuaikan perilaku model — cukup definisikan prompt dan parameter di satu file teks.

llama.cpp: Langsung dari Kode Sumber

Kalau mau lebih manual, llama.cpp juga bisa langsung:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build && cmake --build build -j

./build/bin/llama-cli -m model-Q4_K_M.gguf -p "Jelaskan RAG dalam dua kalimat" -n 128

Step-by-Step Setup

Saat pertama kali compile llama.cpp, saya sempat bingung soal dependency. Berikut urutan yang saya temukan paling stabil:

1. Install build tools: apt install build-essential cmake (Ubuntu) atau brew install cmake (macOS)
2. Clone dan compile: prosses build pertama memakan waktu 2–5 menit tergantung CPU
3. Download model GGUF dari Hugging Face (lihat section di atas)
4. Jalankan inferensi: gunakan llama-cli untuk chat, atau llama-server untuk API endpoint
5. GPU acceleration (opsional): compile dengan flag CUDA/Vulkan jika punya GPU yang didukung

# Compile dengan GPU CUDA (jika punya NVIDIA)
cmake -B build -DGGML_CUDA=ON
cmake --build build -j

# Jalankan server untuk integrasi dengan tools lain
./build/bin/llama-server \
  -m model-Q4_K_M.gguf \
  --host 0.0.0.0 --port 8080 \
  -ngl 35  # offload 35 layer ke GPU

Memory Requirements: Berapa RAM yang Dibutuhkan?

Pertanyaan pertama yang saya hadapi sebelum menjalankan LLM lokal: “RAM laptop saya cukup tidak?” Berikut estimasi kebutuhan RAM berdasarkan pengalaman dan benchmark komunitas:

Model	Parameter	Q4_K_M	Q8_0	FP16 (Original)
Llama 3.1	7B	~4.5 GB	~7.5 GB	~14 GB
Llama 3.1	13B	~7.5 GB	~14 GB	~26 GB
Llama 3.1	70B	~40 GB	~72 GB	~140 GB
Mistral	7B	~4.4 GB	~7.4 GB	~14 GB

Aturan praktis: siapkan RAM 1.2× ukuran file model. Misalnya model Q4_K_M 4.1 GB butuh minimal ~5 GB RAM agar nyaman (sisanya untuk sistem operasi dan overhead). Kalau pakai GPU, hitung juga VRAM — sama prinsipnya.

Benchmark: Kecepatan di Berbagai Hardware

Saya mengumpulkan data tokens-per-second dari benchmark komunitas dan pengalaman pribadi. Semua angka berikut untuk model 7B Q4_K_M:

Hardware	CPU/GPU	Tokens/detik	Catatan
Laptop ringan	Intel i5 / CPU only	~5–8	Bisa dipakai, sabar
Laptop gaming	Ryzen 7 / CPU only	~12–18	Cukup nyaman
Desktop + RTX 3060	CUDA offload penuh	~35–45	Nyaman untuk coding
Desktop + RTX 4090	CUDA offload penuh	~80–120	Hampir real-time
Cloud GPU (A100)	CUDA offload penuh	~100–150	Tercepat, bayar per jam

CPU-only di laptop ringan terasa lambat, tapi tetap fungsional untuk chat interaktif. Kalau sudah pakai GPU NVIDIA dengan CUDA, percepatannya luar biasa — dari 8 token/detik jadi 40+ token/detik. Itu pengalaman saya pertama kali offload model ke GPU dan langsung terasa perbedaannya.

Fine-Tuning vs Prompting: Kapan Perlu Fine-Tune?

Banyak yang bertanya: “sudah ada model lokal, kapan harus fine-tune?” Berdasarkan pengalaman saya, ini panduan sederhananya:

Cukup prompting jika: tugas spesifik bisa dijelaskan dalam system prompt, data tidak terlalu domain-specific, dan model sudah cukup kompeten di area tersebut. Misalnya translate bahasa, summarization, atau coding assistance — system prompt yang baik sudah cukup.

Perlu fine-tuning jika: ada terminologi domain yang sangat spesifik (medis, hukum, keuangan), model perlu memahami format output yang sangat konsisten, atau ada pola data historis yang harus dipelajari. Fine-tuning pada model kecil (7B) bisa dilakukan di laptop modern dengan LoRA — tidak butuh GPU cluster raksasa.

Saya sendiri menemukan bahwa Modelfile Ollama (system prompt + parameter tuning) sudah menyelesaikan 80% kebutuhan saya. Fine-tuning baru releven ketika saya benar-benar butuh model memahami dataset spesifik yang tidak bisa dijelaskan cukup dengan prompt.

Catatan Pribadi: Pengalaman Pertama

Saat pertama kali menjalankan LLM lokal di laptop saya, ada perasaan campur aduk. Antara excited karena akhirnya bisa chat dengan AI tanpa koneksi internet, dan sedikit kecewa karena responsnya lambat (CPU-only, sekitar 6 token/detik). Tapi setelah beberapa hari, saya mulai menghargai aspek lainnya: privasi total — tidak ada data yang keluar dari mesin, biaya nol — tidak ada API bill bulanan, dan offline capability — bisa dipakai saat pesawat atau di area tanpa sinyal.

Yang paling mengubah perspektif saya adalah menyadari bahwa model 7B Q4_K_M, meskipun tidak sekuat GPT-4, sudah cukup untuk banyak tugas sehari-hari: menulis email, menjelaskan kode, meringkas dokumen, brainstorming ide. Untuk programmer, ini ibarat punya pair programmer yang selalu online di terminal — tidak sempurna, tapi sangat membantu.

Catatan Praktik

• Ram-kan ukuran model dengan RAM/VRAM: model 7–8B pada Q4_K_M nyaman di banyak laptop modern.
• Kecepatan token di CPU jauh lebih lambat daripada GPU — wajar, atur ekspektasi.
• Model lokal unggul untuk privasi, offline, dan eksperimen tanpa biaya per token.
• Kualitas reasoning model kecil di bawah model frontier; pilih tugas yang sesuai.
• Gunakan Ollama untuk kemudahan, llama.cpp untuk kontrol penuh.
• Q4_K_M adalah sweet spot — di bawah itu kualitas menurun, di atas itu ukuran membengkak.
• Selalu siapkan 1.2× RAM dari ukuran file model untuk headroom yang nyaman.

Sumber

• Quantization (machine learning) — Wikipedia
• Ollama
• llama.cpp – GitHub
• GGUF format – Hugging Face Docs

Itu dia catatan praktik GGUF. Tersisa satu episode terakhir: setelah 24 episode, ke mana jalan belajarnya berlanjut? Sampai jumpa di episode penutup.

Setelah 23 episode — dari definisi AI sampai proyek klasifikasi pertama — sekarang saatnya menjawab pertanyaan praktis yang paling sering ditanyakan: “bisa nggak sih jalankan LLM di laptop sendiri, tanpa API dan tanpa kirim data ke cloud?” Jawabannya bisa, berkat dua hal: quantization dan format file GGUF. Episode ini kita bedah tuntas keduanya.

Apa Itu Quantization?

Quantization adalah proses mengurangi presisi angka (bit-width) pada data weights sebuah model neural network. Dengan kata sederhana, kita memetakan angka dari rentang nilai yang luas ke rentang yang lebih sempit sehingga membutuhkan lebih sedikit bit untuk menyimpannya.

Bayangkan sensor suhu presisi laboratorium yang menunjukkan 36.127°C. Termometer rumah biasa hanya menampilkan 36.1°C, dan termometer murah hanya 36°C. Keduanya tetap bisa mengatakan “demam” atau “normal” — detail kecil hilang, tetapi informasi penting tetap tersimpan. Itulah prinsip dasar quantization.

Contoh Nyata dalam Angka

Sebuah model AI menyimpan jutaan parameter berbentuk angka floating point. Berikut ilustrasi konversinya:

# Asli (FP32 — 32-bit float, sangat presisi)
nilai_asli = 0.7834

# Quantize ke Q4 (4-bit integer, bisa nilai 0–15)
skala = 15
hasil_q4 = round(nilai_asli * skala) / skala
# 0.7834 × 15 = 11.751 → round → 12 / 15 = 0.80

# Error = |0.7834 - 0.80| / 0.7834 ≈ 2.1%
print(f"Asli: {nilai_asli}")
print(f"Q4:   {hasil_q4}")
print(f"Error: {abs(nilai_asli - hasil_q4) / nilai_asli * 100:.1f}%")

Mengapa Neural Network Bisa Tahan Terhadap Quantization?

Neural network memiliki sifat resilient terhadap noise kecil. Perubahan 2–5% pada weights jarang mengubah output secara signifikan. Ini mirip dengan cara telinga manusia membedakan musik dari format MP3 (lossy) versus FLAC (lossless) — sebagian besar pendengar tidak menyadari perbedaannya.

Dalam konteks model bahasa (LLM), quantization yang dilakukan dengan hati-hati hanya mengurangi akurasi model sangat sedikit, tetapi menghemat RAM, ukuran file, dan waktu inferensi secara signifikan.

Level Quantization: Perbandingan Lengkap

Bukan cuma Q4. Ada banyak level quantization dengan trade-off berbeda. Saya coba rangkum perbandingannya di tabel berikut. Semua angka ini berdasarkan model 7B parameter — angka aslinya berubah per model, tapi proporsinya konsisten.

Level	Bit per Weight	Ukuran (7B)	Kualitas Output	Speed
Q2_K	~2.5 bit	~2.7 GB	Menurun signifikan	Paling cepat
Q3_K_S	~3.5 bit	~3.0 GB	Agak menurun	Cepat
Q4_K_M	~4.5 bit	~4.1 GB	Hampir setara FP16	Cepat
Q5_K_M	~5.5 bit	~5.0 GB	Sangat dekat FP16	Sedang
Q8_0	8 bit	~7.2 GB	Hampir identik FP16	Lebih lambat

Pengalaman saya: Q4_K_M adalah titik sweet spot untuk sebagian besar kasus. Di bawah Q3, mulai terasa penurunan kualitas — model sering mengulang kata atau memberikan jawaban tidak koheren. Di atas Q5, perbedaan kualitas sangat tipis tapi ukuran file membengkak. Kecuali Anda butuh presisi untuk tugas kritis, Q4_K_M sudah lebih dari cukup.

GGUF: Wadah File untuk Model Hasil Quantization

GGUF adalah format file model yang dipakai ekosistem llama.cpp — single-file, kompresi quantization, bisa jalan di CPU biasa atau GPU dengan VRAM kecil. Format ini menggantikan GGML yang lebih lama dan dirancang untuk forward-compatible: versi lama runtime masih bisa membuka file GGUF baru.

Struktur Internal GGUF

Saat saya pertama kali penasaran dengan format GGUF, saya menemukan bahwa strukturnya sebenarnya cukup elegan. File GGUF terdiri dari tiga bagian utama:

• Header — berisi magic number (“GGUF”), versi format, dan jumlah tensors serta metadata. Bagian ini relatif kecil (beberapa kilobyte) dan berfungsi seperti “daftar isi” file.
• Tensor Data — blok data terbesar, berisi semua weights model yang sudah di-quantize. Urutan tensor di sini sesuai urutan di header. Karena sudah di-quantize, ukuran jauh lebih kecil dari model asli FP16/FP32.
• Metadata — informasi tambahan seperti nama model, vocabulary tokenizer, hyperparameter, dan arsitektur. Metadata ini memungkinkan runtime membaca satu file GGUF tanpa perlu file konfigurasi terpisah.

Konsepnya mirip seperti format .onnx atau .pb, tetapi GGUF dirancang khusus untuk efisiensi inferensi lokal. Semua yang dibutuhkan model ada dalam satu file — tidak ada dependencies terpisah.

Hugging Face Hub: Sumber Model GGUF

Hugging Face Hub adalah toko model AI terbesar saat ini. Untuk mencari model GGUF, langkah-langkahnya:

1. Buka huggingface.co/models
2. Gunakan filter Format: GGUF di sidebar kiri
3. Pilih model (misalnya Llama 3.1, Mistral, Qwen) lalu buka tab Files and versions
4. Cari file yang diakhiri .gguf — biasanya ada beberapa versi quantization
5. Klik ikon download atau gunakan huggingface-cli untuk batch download

Beberapa organisasi seperti TheBloke dan bartowski terkenal karena meng-quantize ratusan model ke format GGUF dengan berbagai level. Ini sangat membantu karena tidak semua model asli tersedia dalam format GGUF — banyak yang harus di-convert dulu dari format safetensors/transformers.

# Install Hugging Face CLI
pip install huggingface-hub

# Download model spesifik (misal Llama 3.1 8B Q4_K_M)
huggingface-cli download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF \
  --include "*Q4_K_M*" \
  --local-dir ./models

Ollama: LLM Lokal Sekali Perintah

Ollama membungkus llama.cpp jadi pengalaman semudah Docker: satu binary, pull model, langsung chat. Perintah yang saya pakai harian:

# Install (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# Unduh & jalankan model
ollama run llama3.1:8b

# Lihat daftar model lokal
ollama list

# Server API kompatibel OpenAI di localhost
ollama serve
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1:8b",
  "messages": [{"role": "user", "content": "Halo, tes koneksi."}]
}'

Custom Modelfile: Fine-Tune Behavior

Salah satu fitur Ollama yang saya sukai adalah kemampuan membuat Modelfile — semacam Dockerfile untuk model AI. Dengan Modelfile, kita bisa menyesuaikan system prompt, parameter sampling, bahkan menggabungkan dua model.

# Buat file Modelfile
cat > Modelfile << 'EOF'
FROM llama3.1:8b

SYSTEM "Anda adalah asisten AI yang selalu menjawab dalam bahasa Indonesia dengan gaya santai dan informatif. Gunakan analogi untuk menjelaskan konsep teknis."

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096
EOF

# Build model kustom
ollama create assistant-id-local -f Modelfile

# Jalankan
ollama run assistant-id-local

Dengan Modelfile, Anda tidak perlu coding sama sekali untuk menyesuaikan perilaku model — cukup definisikan prompt dan parameter di satu file teks.

llama.cpp: Langsung dari Kode Sumber

Kalau mau lebih manual, llama.cpp juga bisa langsung:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build && cmake --build build -j

./build/bin/llama-cli -m model-Q4_K_M.gguf -p "Jelaskan RAG dalam dua kalimat" -n 128

Step-by-Step Setup

Saat pertama kali compile llama.cpp, saya sempat bingung soal dependency. Berikut urutan yang saya temukan paling stabil:

1. Install build tools: apt install build-essential cmake (Ubuntu) atau brew install cmake (macOS)
2. Clone dan compile: prosses build pertama memakan waktu 2–5 menit tergantung CPU
3. Download model GGUF dari Hugging Face (lihat section di atas)
4. Jalankan inferensi: gunakan llama-cli untuk chat, atau llama-server untuk API endpoint
5. GPU acceleration (opsional): compile dengan flag CUDA/Vulkan jika punya GPU yang didukung

# Compile dengan GPU CUDA (jika punya NVIDIA)
cmake -B build -DGGML_CUDA=ON
cmake --build build -j

# Jalankan server untuk integrasi dengan tools lain
./build/bin/llama-server \
  -m model-Q4_K_M.gguf \
  --host 0.0.0.0 --port 8080 \
  -ngl 35  # offload 35 layer ke GPU

Memory Requirements: Berapa RAM yang Dibutuhkan?

Pertanyaan pertama yang saya hadapi sebelum menjalankan LLM lokal: “RAM laptop saya cukup tidak?” Berikut estimasi kebutuhan RAM berdasarkan pengalaman dan benchmark komunitas:

Model	Parameter	Q4_K_M	Q8_0	FP16 (Original)
Llama 3.1	7B	~4.5 GB	~7.5 GB	~14 GB
Llama 3.1	13B	~7.5 GB	~14 GB	~26 GB
Llama 3.1	70B	~40 GB	~72 GB	~140 GB
Mistral	7B	~4.4 GB	~7.4 GB	~14 GB

Aturan praktis: siapkan RAM 1.2× ukuran file model. Misalnya model Q4_K_M 4.1 GB butuh minimal ~5 GB RAM agar nyaman (sisanya untuk sistem operasi dan overhead). Kalau pakai GPU, hitung juga VRAM — sama prinsipnya.

Benchmark: Kecepatan di Berbagai Hardware

Saya mengumpulkan data tokens-per-second dari benchmark komunitas dan pengalaman pribadi. Semua angka berikut untuk model 7B Q4_K_M:

Hardware	CPU/GPU	Tokens/detik	Catatan
Laptop ringan	Intel i5 / CPU only	~5–8	Bisa dipakai, sabar
Laptop gaming	Ryzen 7 / CPU only	~12–18	Cukup nyaman
Desktop + RTX 3060	CUDA offload penuh	~35–45	Nyaman untuk coding
Desktop + RTX 4090	CUDA offload penuh	~80–120	Hampir real-time
Cloud GPU (A100)	CUDA offload penuh	~100–150	Tercepat, bayar per jam

CPU-only di laptop ringan terasa lambat, tapi tetap fungsional untuk chat interaktif. Kalau sudah pakai GPU NVIDIA dengan CUDA, percepatannya luar biasa — dari 8 token/detik jadi 40+ token/detik. Itu pengalaman saya pertama kali offload model ke GPU dan langsung terasa perbedaannya.

Fine-Tuning vs Prompting: Kapan Perlu Fine-Tune?

Banyak yang bertanya: “sudah ada model lokal, kapan harus fine-tune?” Berdasarkan pengalaman saya, ini panduan sederhananya:

Cukup prompting jika: tugas spesifik bisa dijelaskan dalam system prompt, data tidak terlalu domain-specific, dan model sudah cukup kompeten di area tersebut. Misalnya translate bahasa, summarization, atau coding assistance — system prompt yang baik sudah cukup.

Perlu fine-tuning jika: ada terminologi domain yang sangat spesifik (medis, hukum, keuangan), model perlu memahami format output yang sangat konsisten, atau ada pola data historis yang harus dipelajari. Fine-tuning pada model kecil (7B) bisa dilakukan di laptop modern dengan LoRA — tidak butuh GPU cluster raksasa.

Saya sendiri menemukan bahwa Modelfile Ollama (system prompt + parameter tuning) sudah menyelesaikan 80% kebutuhan saya. Fine-tuning baru releven ketika saya benar-benar butuh model memahami dataset spesifik yang tidak bisa dijelaskan cukup dengan prompt.

Catatan Pribadi: Pengalaman Pertama

Saat pertama kali menjalankan LLM lokal di laptop saya, ada perasaan campur aduk. Antara excited karena akhirnya bisa chat dengan AI tanpa koneksi internet, dan sedikit kecewa karena responsnya lambat (CPU-only, sekitar 6 token/detik). Tapi setelah beberapa hari, saya mulai menghargai aspek lainnya: privasi total — tidak ada data yang keluar dari mesin, biaya nol — tidak ada API bill bulanan, dan offline capability — bisa dipakai saat pesawat atau di area tanpa sinyal.

Yang paling mengubah perspektif saya adalah menyadari bahwa model 7B Q4_K_M, meskipun tidak sekuat GPT-4, sudah cukup untuk banyak tugas sehari-hari: menulis email, menjelaskan kode, meringkas dokumen, brainstorming ide. Untuk programmer, ini ibarat punya pair programmer yang selalu online di terminal — tidak sempurna, tapi sangat membantu.

Catatan Praktik

• Ram-kan ukuran model dengan RAM/VRAM: model 7–8B pada Q4_K_M nyaman di banyak laptop modern.
• Kecepatan token di CPU jauh lebih lambat daripada GPU — wajar, atur ekspektasi.
• Model lokal unggul untuk privasi, offline, dan eksperimen tanpa biaya per token.
• Kualitas reasoning model kecil di bawah model frontier; pilih tugas yang sesuai.
• Gunakan Ollama untuk kemudahan, llama.cpp untuk kontrol penuh.
• Q4_K_M adalah sweet spot — di bawah itu kualitas menurun, di atas itu ukuran membengkak.
• Selalu siapkan 1.2× RAM dari ukuran file model untuk headroom yang nyaman.

Sumber

• Quantization (machine learning) — Wikipedia
• Ollama
• llama.cpp – GitHub
• GGUF format – Hugging Face Docs

Itu dia catatan praktik GGUF. Tersisa satu episode terakhir: setelah 24 episode, ke mana jalan belajarnya berlanjut? Sampai jumpa di episode penutup.