Rate limits
Batas belanja Anda adalah token cap per pelanggan berdasarkan model tier class (mingguan + bulanan). RPM/TPM berperan sebagai burst guard anti-flood, dan token pack menambah headroom untuk lonjakan terencana.
Token cap berdasarkan model tier class
Batas belanja pada flat tier adalah batas token per kelas tier model yang keras, ditegakkan per pelanggan pada jendela mingguan dan bulanan. Tier class sebuah model (budget / mid / premium / ultra) ditentukan oleh harganya. Cap dibagi di seluruh key pada satu akun — N key mengambil dari satu bucket, menutup eksploit gaming multi-key yang dimiliki gateway lama. Lewati cap mingguan atau bulanan sebuah class dan request mengembalikan 402 token_quota_exceeded. Sebuah class tanpa baris untuk suatu tier tidak tersedia pada tier itu.
| Tier | Budget (wk / mo) | Mid (wk / mo) | Premium (wk / mo) | Ultra |
|---|---|---|---|---|
| Pro | 40M / 120M | 8M / 24M | 1.5M / 4M | — |
| Enterprise | Tanpa kuota token tetap — alert cost-velocity halus + ketentuan kontrak |
Token menghitung input + output. Pro mencakup budget + mid + premium. Ultra-class adalah wilayah Enterprise. Enterprise tidak memiliki token cap keras — penggunaan diatur oleh alert cost-velocity internal yang halus ditambah ketentuan kontrak Anda.
Akun Free berjalan di free guarded bucket ditambah saldo prabayar Anda — lihat Paket & penagihan.
Override kustom per-pelanggan tersedia — hubungi [email protected].
Burst guard RPM / TPM + inflight cap
Terpisah dari token cap (batas belanja Anda), setiap tier memiliki burst guard RPM dan TPM plus sebuah inflight cap per key. Ini adalah limit anti-flood — mereka melindungi provider upstream dan tail latency Anda sendiri, bukan budget bulanan Anda. Memicu salah satunya mengembalikan 429 rate_limit_exceeded (atau concurrent_limit_exceeded untuk inflight cap).
| Tier | RPM | TPM | Max concurrent |
|---|---|---|---|
| Free | 20 | 400,000 | 25 |
| Budget Pass | 750 | 3,000,000 | 25 |
| Plus Pass | 1,500 | 6,000,000 | 25 |
| Free dengan saldo top-up | 3,000 | 15,000,000 | 25 |
| Pro | 3,000 | 25,000,000 | 150 |
| Enterprise | 30,000 | 100M | 500 |
RPM = request / menit (laju). TPM = total token / menit (input + output, tidak termasuk pembacaan input ter-cache). Max concurrent = request in-flight bersamaan per key — ruang untuk konkurensi, bukan batas throughput.
Free dengan saldo top-up berlaku selama akun Anda memiliki saldo top-up di luar kredit uji coba pendaftaran, dan selama 14 hari setelah top-up terakhir Anda. Setelah itu, bila saldo top-up sudah habis, akun kembali ke limit Free. Kredit pendaftaran saja tidak menaikkan limit Anda. Budget Pass atau Plus Pass yang aktif pada akun Free menetapkan limit Pass di atas selama Pass berlaku; bila akun juga memiliki saldo top-up, limit Free dengan saldo top-up yang berlaku. Limit berlaku per pelanggan, dipakai bersama oleh semua key Anda. TPM diperiksa terhadap token yang Anda pakai dalam 60 detik terakhir, jadi satu request besar (misalnya coding agent yang mengirim konteks panjang) bisa menghabiskan jatah satu menit penuh di Free.
Batas sesi agent
Request yang membawa header X-Session-ID (banyak coding agent mengirimnya) juga dihitung per sesi, sebagai pengaman untuk loop agent yang lepas kendali. Sebuah sesi diblokir begitu mencapai salah satu dari:
| Batas | Limit |
|---|---|
| Token (input + output, kumulatif) | 5.000.000 |
| Langkah (request) | 400 |
| Biaya | sekitar Rp 90.000 per sesi |
Penghitung direset setelah 15 menit tanpa request di sesi itu. Request yang diblokir mengembalikan 429 agent_session_ceiling_exceeded dengan reason seperti platform:max_tokens. Mulai sesi baru (X-Session-ID baru) untuk melanjutkan. Batas yang sama berlaku di semua paket; request tanpa X-Session-ID tidak dihitung per sesi.
Dua batas yang berbeda
402 token_quota_exceeded— Anda menghabiskan token cap mingguan atau bulanan untuk sebuah model tier class. Response membawamodel_tier_classdanwindow(weekly|monthly). Retry tidak akan membantu sampai jendela bergulir — beli token pack, upgrade tier Anda, atau pindahkan workload ke class yang masih memiliki budget.429 rate_limit_exceeded— Anda memicu burst guard RPM/TPM. Transien: back off dan retry, dengan menghormatiRetry-After.
Baca ini alih-alih menabrak limit
Setiap response yang berhasil melaporkan budget burst-guard RPM/TPM Anda saat ini. Gunakan untuk melakukan throttle di sisi client sebelum guard memicu. Habisnya token cap muncul sebagai 402 token_quota_exceeded, berbeda dari flood guard 429 rate_limit_exceeded.
200 — header burst-guard di setiap response
402 — kuota token terlampaui (batas belanja)
429 — burst guard terpicu (flood RPM/TPM)
429 — cap concurrent (inflight)
| Header | Deskripsi |
|---|---|
x-anoman-rate-limit-rpm | Cap burst-guard RPM untuk tier Anda |
x-anoman-rate-remaining-rpm | Request tersisa pada menit berjalan |
x-anoman-rate-limit-tpm | Cap burst-guard TPM untuk tier Anda |
x-anoman-rate-remaining-tpm | Token tersisa pada menit berjalan |
retry-after | Header HTTP standar — detik untuk menunggu. Hanya pada 429. |
x-anoman-tier | Tier pelanggan (free/pro/enterprise) |
x-anoman-inflight-cap | Batas atas request bersamaan (hanya pada 429 dari bucket ini) |
x-anoman-inflight-current | Jumlah bersamaan saat ini (hanya pada 429) |
Hormati Retry-After
SDK OpenAI / Anthropic retry secara otomatis secara default, tetapi mereka mengabaikan Retry-After di beberapa versi. Berikut pola eksplisit yang memilih waktu tunggu yang disarankan server jika ada, jika tidak exponential backoff:
Python — hormati Retry-After
TypeScript — pola yang sama
Concurrent vs rate
Kedua kode 429 memiliki arti yang berbeda:
rate_limit_exceeded— Anda memicu burst guard RPM/TPM. Retry setelah jendela bergulir.concurrent_limit_exceeded— terlalu banyak in-flight pada saat bersamaan. Kurangi konkurensi atau tunggu satu selesai.
Inflight cap independen terhadap RPM/TPM. Akun Pro pada 3.000 RPM dengan inflight cap 150 dapat menembakkan 3.000 request sekuensial per menit atau hingga 150 bersamaan — tetapi tidak 150 bersamaan untuk panggilan 5 detik (itu akan membuat RPM melonjak jauh di atas 120).
Kenapa keduanya? RPM melindungi layanan upstream dari volume total. Inflight cap melindungi budget latensi Anda sendiri — terlalu banyak request in-flight yang menunggu di antrean upstream membuat semua orang lebih lambat. Inflight lebih rendah = tail latency yang dapat diprediksi.
Beli token ekstra saat Anda butuh headroom
Pada flat tier, ketika sebuah model tier class mendekati token cap-nya, beli token pack untuk menambah headroom sementara ke class itu selama durasi tetap. Ini adalah tambahan aditif ke cap class tersebut — bukan perubahan pada burst guard RPM/TPM Anda. Biaya dipotong dari saldo prabayar Anda.
Python — beli token pack
Enterprise tidak butuh token pack — memang tidak memiliki token cap keras sejak awal.
Pantau token cap Anda secara real time
Dashboard Rate Limits menampilkan penggunaan token per-class dan burst guard RPM/TPM dengan sparkline.