Kategori: Catatan Coding

Beberapa hari terakhir saya memakai beberapa tool coding berbasis AI sekaligus, dan muncul pertanyaan yang sering ditanyakan banyak orang: kalau di tengah sesi kode modelnya ganti-ganti — entah karena rate limit atau provider sedang turun — apakah berpengaruh ke hasil kerja? Apalagi sekarang ada 9Router yang bisa auto-fallback ke model lain. Catatan ini saya rangkum dari eksperimen dan riset saya soal OpenCode, Hermes Agent, dan 9Router.

Apa yang Sebenarnya Terjadi Saat Model Ganti di Tengah Sesi?

Ganti model di tengah sesi coding bukan sekadar soal “sambungannya pindah”. Ada tiga hal yang berubah:

• Konteks percakapan bisa terpotong. Setiap model punya batas token window sendiri. Saat failover, riwayat prompt biasanya di-truncate agar muat di model baru. Model pengganti bisa jadi tidak paham penuh alur debug yang sedang kita jalani.
• Gaya dan keputusan teknis bisa melenceng. Tiap model punya kebiasaan sendiri soal penamaan, struktur folder, sampai pilihan pola kode. Kalau berganti di tengah fitur yang sama, hasilnya bisa tidak konsisten.
• Ada biaya dan latency tambahan. Koneksi ke provider baru perlu inisialisasi ulang, dan jika konteks dikirim ulang, token yang dipakai juga bertambah.

Bagaimana OpenCode Menangani Ini?

OpenCode (tool agentic coding open source yang awalnya dikembangkan oleh Andrej Karpathy) mendukung banyak provider sekaligus: OpenAI, Anthropic, Google, hingga model lokal. Beberapa hal yang saya perhatikan:

• Bisa ganti model/provider secara dinamis tanpa restart sesi, dan konteks terbaru tetap dibawa.
• Ada failover bawaan — jika satu provider rate limited, ia beralih ke model berikutnya sesuai urutan yang kita daftarkan.
• Semua perubahan model tercatat di log sesi, sehingga riwayatnya bisa ditelusuri kembali.

Kekurangannya: tiap provider perlu API key sendiri, dan failover bisa menambah latency kalau tidak hati-hati mengatur urutan.

Bagaimana dengan Hermes Agent?

Hermes Agent (dari Nous Research) adalah agen yang lebih umum — bisa untuk coding, riset, sampai otomasi. Untuk urusan ganti model di tengah sesi, pengalamannya sedikit berbeda:

• Provider bisa di-load/unload secara dinamis, tapi sinkronisasi konteks cenderung manual — perlu resume sesi atau menyuntikkan ringkasan konteks.
• Failover otomatis tidak sepenuhnya built-in seperti OpenCode, tapi bisa dikonfigurasi lewat fallback_providers di config — ini yang saya pakai untuk beberapa cron blog saya.
• Restore konteks dari disk butuh waktu, jadi ada latency tambahan saat pindah sesi.

Di Mana Posisi 9Router?

Di sinilah 9Router berperan. Daripada tiap tool mengurus failover-nya sendiri, kita bisa mengarahkan semuanya ke satu router yang mengatur urutan model:

opencode --model "9router://gpt-4o,claude-3.5-sonnet,gemini-1.5-flash"

Jika model pertama kena limit, 9Router otomatis meneruskan ke model berikutnya. Sisi tool (OpenCode/Hermes) tidak perlu tahu apa-apa — mereka tetap memakai endpoint yang sama. Ini menyederhanakan masalah jadi satu: atur urutan prioritas, sisanya otomatis.

Jadi, Apakah Ganti Model Berpengaruh?

Perspektif Hermes Agent: Kenapa Task Tetap Nyambung?

Ada satu hal yang memperjelas gambaran ini: jawaban langsung dari tim Hermes Agent (Nous Research) saat saya tanyakan hal yang sama — “jika saat eksekusi task model/provider diganti 9Router, apakah task yang dijalankan model berbeda akan tetap nyambung?”. Jawabannya: ya, tetap nyambung — dengan satu syarat penting.

Konteks Dikelola Hermes, Bukan Provider

Konteks (prompt + tools + state) disimpan di sisi gateway/sesi Hermes. Saat 9Router mengganti provider/model, Hermes tetap mengirim konteks yang sama — lewat history.messages — ke provider baru. Provider hanya “menumpang” pada konteks yang sudah disiapkan Hermes.

Syaratnya: Provider OpenAI-Compatible

Provider OpenAI-compatible (kagiro, laguna, dsb — yang memang terhubung lewat 9Router) memakai format message yang sama. Jadi model yang berbeda sekalipun akan menerima konteks yang sama persis. Yang bikin putus hanyalah perubahan model yang sangat signifikan — misalnya dari OpenAI-style ke Claude-style — karena format outputnya berbeda.

Contoh Jalan atau Tidaknya

Bottom Line

Selama semua provider yang dipakai adalah OpenAI-compatible endpoint (yang memang dilakukan via 9Router), ganti model/provider tidak akan memutus alur task — Hermes akan mengirim konteks yang sama ke provider baru. Logika tool (mengubah config, restart gateway, dsb) tetap jalan karena Hermes yang mengeksekusi, bukan provider. Yang nyata berubah hanyalah cost dan kecepatan response.

Bagaimana dengan OpenCode? Apakah Sama?

Pertanyaan lanjutannya: apakah prinsip yang sama berlaku di OpenCode? Berdasarkan dokumentasi resminya — ya, prinsipnya sama.

“Select a model to use it in the current session. Switching models updates that session without changing your config.” — Dokumentasi resmi OpenCode (opencode.ai/v2/docs/models)

Konteks Dipegang OpenCode, Bukan Provider

Seperti Hermes, konteks (transcript + state) disimpan di sisi OpenCode — bukan di provider. Ganti model lewat model picker (tab) atau per-run (--model) hanya mengganti model yang dipakai sesi itu; riwayat percakapan tetap utuh dan dikirim penuh ke model baru.

9Router Transparan untuk OpenCode

OpenCode melihat 9Router sebagai satu provider OpenAI-compatible biasa. Saat failover terjadi di balik layar, OpenCode tidak tahu modelnya berganti — ia tetap mengirim konteks sesi yang sama ke endpoint yang sama. Perilakunya persis seperti Hermes.

Perbandingan Hermes vs OpenCode

Satu perbedaan penting: Hermes punya failover native antar provider, OpenCode tidak. Di OpenCode, 9Router justru perannya lebih besar — dialah satu-satunya mekanisme failover otomatisnya. Tanpa 9Router, ganti model di OpenCode harus manual.

Kesimpulan

Mengganti model di tengah sesi berpengaruh, terutama pada konteks dan konsistensi — tapi dampaknya bisa dikelola. Untuk masalah ketersediaan (rate limit, provider down), 9Router sudah menyelesaikan bagian terberatnya dengan failover otomatis. Untuk masalah konteks, kebiasaan kecil seperti menyimpan ringkasan pekerjaan setiap beberapa langkah sudah sangat membantu.

Pendekatan yang saya pakai sekarang: satu model untuk satu fitur utuh, dan 9Router sebagai jaring pengaman kalau model utama sedang bermasalah. Kombinasi yang cukup untuk sebagian besar pekerjaan harian.

• 9Router: AI Router Gratis untuk Koding — Catatan Riset & Ulasan
• Failover Model Cerdas: Pakai 9Router Biar Nggak Macet Rate Limit

Siapa yang tidak pernah mengalami ini: sedang asyik menulis kode dengan bantuan AI, tiba-tiba muncul pesan rate limit exceeded atau connection timeout. Apalagi saat sedang fokus menyelesaikan satu fitur. Alur kerja jadi terputus, dan kita harus menunggu atau berpindah tool secara manual.

Hari ini saya belajar tentang cara mengatasi masalah ini dengan lebih elegan: routing model dengan failover otomatis. Alih-alih terpaku pada satu model atau satu provider, kita bisa menyusun rantai model cadangan yang otomatis dipakai ketika model utama sedang bermasalah.

Apa Itu Failover Model?

Failover model adalah mekanisme di mana ketika satu model/provider gagal — karena rate limit, timeout, atau layanan sedang turun — permintaan kita otomatis dialihkan ke model lain yang sudah kita daftarkan sebagai cadangan. Kita cukup menentukan urutan prioritas, sisanya ditangani otomatis.

Salah satu tool yang menyediakan fitur ini adalah 9Router, sebuah AI router gratis yang bisa diarahkan dari berbagai tool coding seperti OpenCode maupun Hermes Agent.

Cara Kerja 9Router

Kita menentukan urutan prioritas model yang ingin dipakai. Contohnya, jika model utama sedang terkena limit, sistem akan otomatis mencoba model berikutnya dalam daftar:

opencode --model "9router://gpt-4o,claude-3.5-sonnet,gemini-1.5-flash"

Jika gpt-4o gagal (rate limit atau timeout), sistem langsung mencoba claude-3.5-sonnet, lalu gemini-1.5-flash — tanpa intervensi manual. Kita tidak perlu berhenti menulis kode hanya karena satu provider sedang sibuk.

Konfigurasi di OpenCode dan Hermes Agent

Untuk OpenCode, model dengan failover bisa dipanggil langsung lewat CLI:

opencode --model "9router://gpt-4o,claude-3.5-sonnet,command-r-plus"

Sementara di Hermes Agent, konfigurasi dapat ditambahkan pada file config.yaml:

providers:
  - name: 9router
    type: router
    model_chain: ["gpt-4o", "claude-3.5-sonnet", "gemini-1.5-flash"]

Keuntungan Menggunakan 9Router

Kapan Failover Tidak Cukup?

Untuk sesi debugging yang sangat panjang, failover model tetap disarankan dilengkapi dengan checkpoint — menyimpan ringkasan konteks setiap beberapa langkah. Ini menjaga agar model pengganti tetap memahami arah pekerjaan yang sedang dikerjakan.

Namun untuk mayoritas kasus, failover lewat 9Router sudah cukup. Fokus utama kita: menentukan urutan model yang masuk akal, lalu membiarkan sistem bekerja.

Kesimpulan

Mengganti model di tengah sesi kode bukan lagi hal yang merepotkan. Dengan 9Router, kita cukup menyusun urutan prioritas model — sistem yang akan memastikan pekerjaan tetap berjalan meski salah satu provider sedang bermasalah.

• 9Router: AI Router Gratis untuk Koding — Catatan Riset & Ulasan

Dalam era di mana model bahasa besar (LLM) semakin berlimpah, para pengembang (terutama yang aktif memakai CLI seperti OpenCode atau Hermes Agent) kini dituntut untuk selektif memilih penyedia layanan AI yang paling efisien. Salah satu yang muncul dalam dua tahun belakangan adalah Xiaomi MiMo, sekaligus produk andalan Xiaomi untuk programmer dan peneliti.

MiMo menawarkan dua opsi tagihan: Pay-As-You-Go (PAYG) dan Token Plan. Kedua sistem ini tidak dapat saling menggantikan, sehingga pemilihan antara keduanya perlu didasarkan pada pola penggunaan aktual. Pada postingan ini, kami akan mensimulasikan penggunaan dengan budget tetap $5 per bulan, lalu membandingkan berapa banyak token yang kita dapat dari masing-masing opsi, serta kompatibilitasnya dengan alat-alat pengembangan populer seperti Hermes dan OpenCode.

Apa Itu Pay-As-You-Go (PAYG)?

Pay-As-You-Go adalah model di mana setiap token yang Anda gunakan akan ditagihkan langsung ke akun Anda pada akhir bulan. Anda hanya membayar untuk apa yang Anda konsumsi. Cukup fleksibel, tetapi biaya dapat meningkat secara signifikan dengan penggunaan intensif.

Apa Itu Token Plan?

Token Plan adalah langganan bulanan atau tahunan yang memberikan kuota tetap. Ini cocok untuk pengguna yang ingin kontrol penuh atas pengeluaran bulanan mereka, tetapi tidak fleksibel jika penggunaan melebihi kuota.

Tarif Resmi Xiaomi MiMo

Berikut tarif resmi MiMo per 1 Juni 2026:

Simulasi Budget $5/Bulan

Pay-As-You-Go ($5/bulan)

Token Plan — Lite Annual ($5.28/bulan)

Dengan demikian, kita mendapatkan lebih dari 40x lipat token dibandingkan PAYG standar, untuk budget yang hampir sama!

Cara Pakai MiMo dengan Hermes & OpenCode

Ikuti langkah berikut:

• Buat API key di konsol MiMo.
• Ekspor ke environment:

export OPENAI_API_BASE = https://api.mimo.ai/v1
export OPENAI_API_KEY  = ***

• Pilih model (mis. mimo-v2.5 atau mimo-v2.5-pro).
• Jika menggunakan Token Plan, pastikan API Key terhubung ke paket langganan yang valid.

Penting: Xiaomi MiMo tidak mendukung interoperabilitas antara PAYG dan Token Plan. Anda harus memilih satu sistem pembayaran dan tidak dapat beralih secara dinamis antara keduanya.

Rekomendasi Akhir

• Jika Anda aktif menggunakan AI untuk coding, riset, atau pengembangan harian, maka Token Plan Lite (Annual) adalah pilihan yang jauh lebih efisien secara biaya jangka panjang.
• Jika hanya mengekplorasi sekali-sekali, maka Pay-As-You-Go cukup andal.

Sumber

• Xiaomi MiMo Pay-As-You-Go Pricing
• Xiaomi MiMo Token Plan
• AI Pricing Dashboard (Komunitas Open Source)