Caching

Provider-side prompt cache memberi diskon 90% untuk prefix berulang. Response cache (opt-in, exact match, sedang diluncurkan): pengulangan request deterministik yang identik dapat dilayani dari cache Anoman; ditagih dengan tarif normal.

Masalah berbeda, solusi berbeda

Lapisan A — Response cache

Sisi Anoman, opt-in, sedang diluncurkan — Men-cache response lengkap untuk pengulangan persis dari request deterministik. Saat hit: dilayani dari cache Anoman alih-alih panggilan provider baru, ditagih dengan tarif normal (harga dan kuota weighted-token yang sama dengan request aslinya).

Terbaik untuk: pengulangan deterministik seperti bot FAQ, menjalankan ulang eval, dan panggilan classifier dengan temperature: 0.

Lapisan B — Provider prompt cache

Sisi upstream, transparan — Men-cache prefix system prompt besar di sisi server pada Anthropic / OpenAI / Google. Saat hit: tetap memanggil upstream tetapi hanya menagih 10% pada token yang di-cache.

Terbaik untuk: agent dengan system prompt ribuan token.

Response cache — cara kerjanya

• Status — sedang diluncurkan, mati secara default.
• Opt-in per API key — selama masa peluncuran diaktifkan per key atas permintaan (hubungi support); belum ada toggle di dashboard. Tidak ada header opt-in per-request.
• Hanya exact match — model, messages, parameter, dan kebijakan guardrail yang sama. Tidak ada pencocokan fuzzy atau semantik; perbedaan apa pun menjadikannya request yang berbeda.
• Hanya request deterministik — request di-cache hanya jika memakai temperature: 0, atau mengirim X-Anoman-Cache: force (nilai lain pada header itu tidak berpengaruh).
• Terpartisi dan berumur pendek — entri dipartisi per pelanggan, dienkripsi saat disimpan, dan hidup paling lama 1 jam.
• Penagihan — hit ditagih dengan tarif normal: harga dan kuota weighted-token yang sama dengan request aslinya. Tidak gratis dan tanpa diskon.
• Streaming — hit pada request stream: true diputar ulang sebagai stream SSE biasa.
• Tidak di-cache — tier gratis, panggilan pass / free-bucket, panggilan dokumen, mode PII tokenize / synthetic, request reasoning (thinking / reasoning_effort), dan n > 1.

{
  "choices": [{
    "message": {"role": "assistant", "content": "The capital of Indonesia is Jakarta."}
  }],
  "_anoman": {
    "cache": { "hit": true, "type": "response" }
  }
}

Provider prompt cache — diterapkan pada system prompt panjang

Saat request Anda memiliki system prompt > minimum provider, Anoman otomatis menyuntikkan penanda cache control agar upstream men-cache-nya di sisi server. Request berikutnya dengan prefix yang sama mendapat diskon cache.

// You sent a 4000-token system prompt that matched a recent cached prefix.
// Provider charges 10% on the cached tokens; output is full price.
{
  "choices": [{
    "message": {"role": "assistant", "content": "..."}
  }],
  "usage": {
    "prompt_tokens": 4127,
    "completion_tokens": 380,
    "prompt_tokens_details": { "cached_tokens": 4000 }  // ← 4000 were cached
  },
  "_anoman": {
    "cache": { "hit": true, "type": "provider" },
    "weighted_tokens": 1600,   // ← discounted from ~14,300 without cache
    "cost_usd": "0.0048"
  }
}

Provider cache aktif otomatis — tanpa opt-in header. Diskon diterapkan ke tagihan Anda tanpa perubahan di sisi klien. Untuk memverifikasi bahwa ia aktif, periksa usage.prompt_tokens_details.cached_tokens pada response.

Header yang mengubah perilaku cache

# Response cache bersifat opt-in per API key (diaktifkan per key atas permintaan selama masa peluncuran).
# Saat aktif, request temperature-0 di-cache otomatis.
# Untuk men-cache request dengan temperature bukan nol, kirim header force:
curl https://api.anoman.io/v1/chat/completions \
  -H "Authorization: Bearer anm-sk-..." \
  -H "X-Anoman-Cache: force" \
  -d '...'

# Always go fresh, even if a cache entry would match.
curl https://api.anoman.io/v1/chat/completions \
  -H "Authorization: Bearer anm-sk-..." \
  -H "X-Anoman-No-Cache: true" \
  -d '...'

Kapan masing-masing aktif

Bagaimana caching muncul di penagihan

Caching langsung memengaruhi penagihan weighted-token. Hit response cache ditagih dengan tarif normal (harga dan weighted token yang sama dengan request aslinya); hit cache prompt provider dikenakan sekitar 10% dari bobot normal, pengurangan weighted-token ~90% (lihat Kuota & overage).

# Penghematan cache + batch akun Anda dalam satu periode
# (cacheSavings, batchSavings, dan totalSpend).
curl https://api.anoman.io/anoman/v1/usage/savings \
  -H "Authorization: Bearer anm-sk-..."

Header X-Anoman-Cache

Setiap completion membawa header respons X-Anoman-Cache (none, provider, atau response) plus blok _anoman.cache yang sesuai.

X-Anoman-Cache: response

# response  → dilayani dari response cache Anoman, ditagih dengan tarif normal
# provider  → panggilan provider live dengan prefix input yang di-cache
# none      → tidak ada cache

Terkait: Batch routing (penghematan ~50% lain pada pekerjaan non-interaktif).

Lihat penghematan Anda

Halaman Usage di dashboard menampilkan Cache savings dan Batch savings sebagai kolom terpisah. Penghematan provider-cache sudah termasuk dalam cost_usd per-request. Hit response cache ditagih dengan tarif normal, sehingga tidak menambah penghematan Anda.

Inspeksi cache hit secara real-time.

Live Feed menandai setiap cache hit dengan pill CACHED.

• Buka Live Feed
• Semua konsep