Belajar AI #62: Biaya & Skala — Harga Provider vs Self-Host, Break-even, Caching & Routing

Di episode ini saya masuk ke topik yang paling sering bikin developer AI panik tiba-tiba: biaya. Saya pernah mengira “paket AI itu murah, cuma beberapa dolar per juta token” — sampai satu proyek agent saya jalan semalaman dan tagihannya jauh melampaui perkiraan saya. Hari ini saya catat cara membaca harga provider dengan tenang, kapan self-host GPU masuk akal, dan dua tuas paling ampuh untuk menekan tagihan: caching dan routing model. Semua angka di sini saya cek langsung dari halaman pricing resmi per November 2026, karena harga model berubah cepat.

Peta harga token hari ini

Semua provider menagih per 1 juta token, terpisah untuk input dan output. Yang perlu saya hafal bukan angkanya persis, tapi strukturnya: selalu ada selisih 5–20× antara tier murah dan tier andal, dan output selalu jauh lebih mahal dari input.

Model (Nov 2026)Input / 1MOutput / 1MCatatan
OpenAI GPT-5.6 Sol$4$20flagship, cache input $0.40
OpenAI GPT-5.6 Luna$0.20$1.20tier murah, selisih 20× dari Sol
Claude Opus 5.5$4$20cache read $0.20 (0.05×)
Claude Sonnet 5.5$2$10cache read $0.10
Claude Haiku 5.5$0.10$0.50prompt ≤ 100 ribu token
Gemini 4 Argon/Carbon$2$10harga perkenalan s/d 30 Nov 2026, lalu $4/$20
Gemini 3.8 Flash$0.75$3.75harga perkenalan s/d 31 Des 2026, lalu $1.50/$7.50

Dua hal yang saya pelajari dari tabel ini. Pertama, harga perkenalan itu jebakan: Gemini 4 naik dua kali lipat tepat setelah bulan berakhir, jadi kalau saya membangun produk di atas harga promo, saya wajib menghitung ulang dengan harga normal. Kedua, selisih GPT-5.6 Sol vs Luna yang 20× itu bukan berarti Sol “20× lebih baik” — di episode #52 kita bahas bahwa untuk tugas sederhana, model murah sering sudah cukup.

Kenapa output selalu mahal

Pola programmer untuk memahami ini: input = membaca file, output = menulis ke disk yang lambat. Saat model membaca konteks, sekali jalan; saat menulis token, tiap token harus di-decode berurutan dan menghasilkan token baru lewat langkah komputasi penuh. Belum lagi token berpikir (reasoning) ikut dihitung sebagai output di banyak model. Praktisnya: memperkecil output (minta ringkas, batasi panjang, hentikan segera saat format sudah lengkap) lebih berdampak daripada memperkecil input.

Kalkulator sederhana sebelum self-host

Obsesi “mending sewa GPU sendiri” muncul begitu tagihan mendekati tiga angka. Tapi harga sewa GPU juga harus saya cek dulu, bukan asumsi lama. Per November 2026 satu GPU H100 on-demand berharga sekitar $1.99/jam (RunPod Community) sampai $4.29–$4.59/jam (Lambda, Nebius); median pasar sekitar $3.90. Kalau dioperasikan 24 jam penuh selama 730 jam sebulan, itu kira-kira $2.847 per bulan per GPU — dan itu belum termasuk waktu setup, monitoring, dan penyesuaian saat model baru rilis.

# contoh perhitungan kasar (bukan framework, cuma aritmetika)
harga_api   = 3.60   # $ per 1M token campuran: 80% input + 20% output pada harga Sonnet 5.5 ($2/$10)
tagihan     = 2847   # $ per bulan, 1 H100 24/7
token_bulan = tagihan / harga_api * 1_000_000
print(f"break-even: {token_bulan/1e6:.0f} juta token/bulan")
# -> break-even: 791 juta token/bulan

Artinya: kalau konsumsi saya jauh di bawah angka itu, self-host bukan penghematan tapi pekerjaan tambahan. Kalau jauh di atas dan trafiknya stabil, GPU sewaan mulai masuk akal — dengan syarat ada yang sanggup merawatnya, dan kita sudah punya eval (episode #30) untuk memastikan hasil self-host tidak turun kualitas. Untuk model kecil di laptop/VPS, jalur Ollama/llama.cpp dari episode #57 tetap pilihan paling murah.

Dua tuas: caching dan routing

Ini bagian yang paling banyak menghemat uang saya. Tuas pertama: prompt caching — system prompt, dokumen RAG, riwayat percakapan yang berulang dibaca ulang tiap request, padahal isinya identik. Harga cache read provider berkisar 0.025–0.1× harga input biasa; Gemini bahkan memberi diskon 95% untuk cache. Kalau struktur prompt saya sudah benar seperti bahasan di episode #56, tagihan input bisa turun 10–40× untuk bagian yang berulang.

Tuas kedua: routing. Jangan pakai model andalan untuk semua request. Pola yang saya terapkan: klasifikasi dan ekstraksi sederhana → model murah (Luna/Haiku/Flash), hanya pertanyaan yang gagal atau berisiko tinggi → naik ke model mahal. Ini pola fallback yang sebenarnya sudah kita bicarakan di episode #43; yang berubah sekarang adalah selisih harganya makin lebar, jadi dampaknya makin besar. Tuas ketiga yang sering dilupakan: Batch API — pekerjaan asinkron (ringkasan massal, labeling) bisa dapat potongan 50%.

Checklist sebelum saya panik soal tagihan

  • Catat penggunaan token per fitur, bukan per akun — tanpa ini saya tidak tahu siapa yang boros.
  • Aktifkan caching untuk semua bagian prompt yang tidak berubah, lalu ukur ulang.
  • Routing dua jalur: murah dulu, mahal hanya untuk kasus yang butuh.
  • Periksa harga normal, bukan harga perkenalan, sebelum menjanjikan harga ke klien.
  • Hitung break-even self-host dengan harga GPU hari ini, bukan pengalaman tahun lalu.

Pelajaran inti yang saya bawa: biaya AI bukan takdir, tapi hasil keputusan kecil yang bisa saya kontrol — model mana, berapa banyak yang di-cache, dan kapan boleh naik kelas. Saya mulai dari mengukur dulu baru memperkirakan, karena tebakan soal biaya yang terbukti salah jauh lebih mahal daripada GPU sewaan.

Sumber

  • OpenAI — Pricing (developers.openai.com/api/docs/pricing), diakses November 2026
  • Anthropic — Claude API pricing (platform.claude.com/docs/en/about-claude/pricing), November 2026
  • Google — Gemini Developer API pricing (aistudio.google.com/docs/pricing) & pengumuman Gemini 4 Carbon (blog.google), November 2026
  • Harga sewa GPU H100: runpod.io/pricing, lambda.ai/pricing, nebius.com/prices (diakses 11 November 2026)

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses