Panduan

Faithfulness

Apakah jawaban model tetap berpijak pada konteks yang Anda berikan? Sinyal observabilitas opt-in, hanya-peringatan, yang Anda tinjau setelahnya.

Apa itu

Sinyal keterikatan-respons

Pratinjau opt-in: Faithfulness saat ini fitur pratinjau yang Anda aktifkan sendiri. Ini tidak menilai setiap respons otomatis — hanya request yang Anda konfigurasi untuknya dan yang membawa konteks grounding yang dievaluasi.

Faithfulness menjawab satu pertanyaan: apakah jawaban model tetap berpijak pada konteks yang Anda berikan (dokumen hasil retrieval, hasil tool)? Ini sinyal CPU-only yang dihitung secara asinkron.

Sifatnya asinkron dan hanya-peringatan — tidak pernah memblokir atau mengubah respons. Ini sinyal observabilitas yang Anda tinjau setelahnya, bukan guardrail yang menghadang trafik.

Aktifkan

Menyalakannya

Aktifkan content capture pada policy group (opt-in per-group yang memungkinkan Anoman menyimpan konten request/respons yang dibutuhkan untuk menilai groundedness) — lihat Policy groups.
Kirim request dengan anoman_context eksplisit — konteks grounding untuk diperiksa. Tanpa konteks, respons ditandai N/A.
Respons yang dinilai muncul di /dashboard/faithfulness (sampai itu, ia menampilkan status "belum ada eval").

Privasi: Konten yang ditangkap dienkripsi-KEK saat disimpan, disimpan di-region, dan privat untuk tenant Anda.

# After enabling content capture on the policy group, send requests with an
# explicit anoman_context — the grounding to check the answer against.
curl https://api.anoman.io/v1/chat/completions \
  -H "Authorization: Bearer anm-sk-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [
      {"role": "user", "content": "What is our refund window?"}
    ],
    "metadata": {
      "anoman_context": "Refunds are accepted within 14 days of purchase..."
    }
  }'

# No anoman_context → the response is marked N/A (nothing to check against).

Yang Anda lihat

Pita kasar, bukan skor mentah

Dashboard menampilkan pita kasar — bukan skor numerik mentah (sinyal ini calibration-gated; float mentah tidak pernah ditampilkan). Rentang yang tidak didukung ditampilkan tersamar. Request tanpa anoman_context diberi nilai na (tidak berlaku).

ok — didukung kuatuncertain — sebagian didukunglow — tidak didukung

# Your tenant's faithfulness evals (customer-scoped; tenant is server-derived).
curl https://api.anoman.io/anoman/v1/faithfulness/activity \
  -H "Authorization: Bearer anm-sk-..."

# {
#   "data": {
#     "window_days": 30,
#     "degraded": false,
#     "totals": { },
#     "by_band": [ ],
#     "by_model": [ ],
#     "daily": [ ],
#     "recent": [
#       {
#         "timestamp": "2026-08-13T10:00:00Z",
#         "model": "claude-sonnet-4-20250514",
#         "band": "ok",                  # ok | uncertain | low | na
#         "has_context": true,
#         "unsupported_spans": []
#       }
#     ]
#   },
#   "error": null
# }
# A coarse band only — never a raw numeric score. Unsupported spans are redacted.

Terkait: Traces & requests (tempat tiap request yang dinilai berada) dan Policy groups (toggle content-capture).

Coba faithfulness

Aktifkan content capture pada policy group, lalu tinjau groundedness di halaman Faithfulness.

Buka Faithfulness Kembali ke docs