anoman
Concepts
Beranda Dokumentasi

Guardrails pipeline

6 guardrail berjalan dalam urutan tetap sebelum dan sesudah panggilan upstream. Fail-fast saat diblokir. Hasil pass-through pada setiap response yang berhasil.

Alur request

┌────────────────────────────────────────────────────────────────┐
│  Request arrives at /v1/chat/completions                       │
└────────────────────────────────────────────────────────────────┘
              │
              ▼
   1. Auth + rate limit       ← 401/402/403/429 fail fast (~1 ms)
              │
              ▼
   2. PRE-CALL GUARDRAILS     ← fail-fast on any block
       ┌────────────────────┐
       │ a. Injection        │  Signatures + ML score
       │ b. PII              │  PII detection engine
       │ c. Content          │  Keyword lists
       │ d. Policy (tools)   │  policy-engine allow/deny lists
       └────────────────────┘
              │
              ▼ (if all pass)
   3. Cache check             ← response cache hit (opt-in) returns 200
              │
              ▼ (miss)
   4. Routing decision        ← realtime or batch?
              │
              ▼
   5. Upstream LLM call       ← provider latency (~500ms-5s typical)
              │
              ▼
   6. POST-CALL GUARDRAILS
       ┌────────────────────┐
       │ e. Response content │  Filter unsafe completions
       │ f. Response PII     │  Mask leaked PII in output
       └────────────────────┘
              │
              ▼
   7. Token metering + trace  ← event stream + analytics store
              │
              ▼
        Response to client

Setiap request melewati pipeline dalam urutan tetap ini. Tidak ada cara untuk melewatinya; master toggle untuk mem-bypass guardrails (jarang dipakai, tercatat di audit) adalah pengaturan per-policy-group yang harus diaktifkan secara eksplisit oleh admin.

Apa yang dilakukan masing-masing

a. Prompt injection

Pemilik atau admin akun dapat mengaktifkan pemblokiran injection di Pengaturan.

Secara default, prompt injection diberi skor saat kapasitas tersedia dan dicatat, tidak diblokir. Dengan pemblokiran injection aktif, sekumpulan kecil signature serangan yang sudah ditetapkan mengembalikan 403 saat cocok, dan classifier ML juga memberi skor pada prompt. Serangan yang disusun ulang bisa lolos dari pemeriksaan ini.

b. Deteksi PII

Mesin deteksi PII kami mengenali email, credit card, NRIC Singapura, NIK Indonesia, MyKad Malaysia, dan Thai National ID secara default, dengan phone, IP, dan URL sebagai pengaturan opt-in. Perilakunya bergantung pada mode PII policy group: redact (ganti dengan placeholder <EMAIL>), tokenize (ganti dengan token yang reversibel dan pulihkan di response), synthetic (ganti dengan nilai palsu yang realistis), atau block (kembalikan 403).

c. Moderasi konten

Denylist keyword (dapat dikonfigurasi admin) plus classifier multibahasa yang mencakup EN + Bahasa Indonesia. Sensitivitas per-kategori (sexual, hate, self-harm, dll.). Mengembalikan 403 saat terpicu.

d. Penegakan policy / tool

Saat request menyertakan tools, setiap nama tool dicek terhadap policy group milik API key (allow/deny list). MCP tool RBAC juga berlaku di sini untuk MCP server yang terhubung.

Setelah upstream mengembalikan hasil

  • e. Filter konten response — classifier yang sama dengan pre-call tetapi diterapkan pada output model. Menangkap completion tidak aman yang tak sengaja dihasilkan model meski prompt-nya aman.
  • f. Pemindai PII response — me-masking PII apa pun di response. Berguna saat upstream mungkin memantulkan kembali sesuatu yang sensitif meski prompt-nya bersih.

Jika guardrail post-call memblokir, response diganti dengan 403 — pelanggan tetap membayar token (upstream sudah berjalan) tetapi tidak melihat konten yang tidak aman.

Pass vs block pada respons aktual

Pada response 200, hasil setiap guardrail ditampilkan di _anoman.guardrails dan sebagai header berawalan x-anoman-guardrail-*. Berguna untuk mencatat tingkat false-positive tanpa menyimpulkannya dari block.

{
  "choices": [...],
  "_anoman": {
    "guardrails": {
      "injection":        { "status": "pass", "score": 0.02 },
      "pii":              { "status": "pass" },
      "content":          { "status": "pass" },
      "policy":           { "status": "pass" },
      "response_content": { "status": "pass" }
    }
  }
}
// User said "my email is [email protected]" — we masked before upstream.
{
  "choices": [{
    "message": {"role": "assistant", "content": "I can help with that..."}
  }],
  "_anoman": {
    "guardrails": {
      "pii": {
        "status": "pass",
        "redacted": 1,
        "entities": [{"type": "EMAIL", "count": 1}]
      }
    }
  }
}

Saat block, response berupa 403 dengan type: "guardrail_error" dan sebuah code spesifik yang menandai guardrail mana yang terpicu:

// Response body
{
  "error": {
    "type": "guardrail_error",
    "code": "prompt_injection",
    "message": "Request blocked by an injection check."
  }
}
 
// Headers
x-anoman-guardrail-injection: blocked

Berapa biayanya dalam waktu?

Pipeline pre-call berjalan sekuensial dengan fail-fast — saat injection memblokir, kami tidak repot menjalankan PII / content / policy. Waktu yang ditambahkan sebelum panggilan upstream bertambah seiring panjang prompt dan beban server, jadi kami tidak menyebut angka tetap.

Override per-key + per-policy-group

Setiap API key ditetapkan ke sebuah policy group dengan: mode PII, threshold injection, tingkat moderasi konten, allow/deny list tool, dan master enable toggle. Override per-key dapat menonaktifkan guardrail tertentu (tercatat di audit) — berguna untuk layanan internal tepercaya yang tidak ingin redaksi PII mengubah prompt.

Lihat halaman pengaturan Guardrails di dashboard, atau referensi /docs/guardrails untuk seluruh permukaan konfigurasi.

Lihat setiap guardrail aktif secara live.

Live Feed menampilkan hasil pre/post-call pada setiap request saat terjadi.