Token cap, burst guard, dan token pack.

Token cap

Token cap berdasarkan model tier class

Batas belanja pada flat tier adalah batas token per kelas tier model yang keras, ditegakkan per pelanggan pada jendela mingguan dan bulanan. Tier class sebuah model (budget / mid / premium / ultra) ditentukan oleh harganya. Cap dibagi di seluruh key pada satu akun — N key mengambil dari satu bucket, menutup eksploit gaming multi-key yang dimiliki gateway lama. Lewati cap mingguan atau bulanan sebuah class dan request mengembalikan 402 token_quota_exceeded. Sebuah class tanpa baris untuk suatu tier tidak tersedia pada tier itu.

Token menghitung input + output. Starter hanya menjalankan model budget. Pro menambahkan mid + premium. Ultra-class adalah wilayah Enterprise / PAYG. PAYG dan Enterprise tidak memiliki token cap keras — penggunaan diatur oleh alert cost-velocity internal yang halus ditambah ketentuan komersial Anda.
Sebuah reserved Free tier (budget saja, 1M wk / 3M mo) ada dalam skema tetapi belum memiliki pendaftaran aktif hari ini.
Override kustom per-pelanggan tersedia — hubungi [email protected].

402 vs 429

Dua batas yang berbeda

• 402 token_quota_exceeded — Anda menghabiskan token cap mingguan atau bulanan untuk sebuah model tier class. Response membawa model_tier_class dan window (weekly | monthly). Retry tidak akan membantu sampai jendela bergulir — beli token pack, upgrade tier Anda, atau pindahkan workload ke class yang masih memiliki budget.
• 429 rate_limit_exceeded — Anda memicu burst guard RPM/TPM. Transien: back off dan retry, dengan menghormati Retry-After.

Menangani 429

Hormati Retry-After

SDK OpenAI / Anthropic retry secara otomatis secara default, tetapi mereka mengabaikan Retry-After di beberapa versi. Berikut pola eksplisit yang memilih waktu tunggu yang disarankan server jika ada, jika tidak exponential backoff:

import time
from openai import OpenAI
from openai import RateLimitError, APIStatusError

client = OpenAI(base_url="https://api.anoman.io/v1", api_key="anm-sk-...")

def call_with_backoff(messages, model="gpt-4o-mini", max_attempts=5):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(model=model, messages=messages)
        except (RateLimitError, APIStatusError) as e:
            if attempt == max_attempts - 1:
                raise
            # Retry-After in seconds (server-suggested wait)
            retry_after = float(e.response.headers.get("retry-after", 0))
            # Fall back to exponential backoff with jitter
            sleep = retry_after or min(2 ** attempt, 30)
            time.sleep(sleep)

Token pack

Beli token ekstra saat Anda butuh headroom

Pada flat tier, ketika sebuah model tier class mendekati token cap-nya, beli token pack untuk menambah headroom sementara ke class itu selama durasi tetap. Ini adalah tambahan aditif ke cap class tersebut — bukan perubahan pada burst guard RPM/TPM Anda. Biaya dipotong dari saldo prabayar Anda.

import requests

# Token packs add temporary headroom to a model tier class's token cap.
# Cost is deducted from prepaid balance. Pricing varies per tier — see the
# token-pack pricing table in your dashboard.
response = requests.post(
    "https://api.anoman.io/anoman/v1/burst/activate",
    headers={"Authorization": "Bearer anm-sk-..."},
    json={"model_tier_class": "premium", "extra_tokens": 5_000_000, "duration_hours": 24},
)
response.raise_for_status()
print(response.json())
# {
#   "active": true,
#   "model_tier_class": "premium",
#   "extra_tokens": 5000000,
#   "expires_at": 1740086400,
#   "cost_usd": "7.00",
#   "balance_remaining_usd": "23.00"
# }

PAYG dan Enterprise tidak butuh token pack — mereka memang tidak memiliki token cap keras sejak awal.