Hubungkan LangChain ke Anoman AI

Langkah 1: Instal dependensi

pip install langchain langchain-openai

Langkah 2: Konfigurasikan Anoman sebagai backend LLM

Atur environment variable sebelum menginisialisasi LLM Anda. Base URL mengarah ke endpoint Anoman yang kompatibel dengan OpenAI.

import os
from langchain_openai import ChatOpenAI

# Set Anoman as the LLM backend
os.environ["OPENAI_API_KEY"] = "anm-sk-your-key-here"
os.environ["OPENAI_BASE_URL"] = "https://api.anoman.io/v1"

llm = ChatOpenAI(model="gpt-4o-mini")

Langkah 3: Gunakan dalam chain

Chain Anda yang sudah ada tetap bekerja tanpa modifikasi. Setiap panggilan otomatis melewati pipeline guardrail Anoman.

from langchain_core.messages import HumanMessage
from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("human", "{input}"),
])

chain = prompt | llm

response = chain.invoke({"input": "Summarize this document."})
print(response.content)

Menggunakan dengan LangGraph

from langgraph.prebuilt import create_react_agent

agent = create_react_agent(llm, tools=[search_tool, calculator_tool])
result = agent.invoke({"messages": [HumanMessage(content="Find the population of Jakarta.")]})

Saat guardrail terpicu

Jika sebuah permintaan diblokir oleh pipeline guardrail, API mengembalikan 403 dengan error terstruktur. LangChain memunculkannya sebagai exception.

{
  "error": {
    "code": "guardrail_triggered",
    "message": "Request blocked by guardrail pipeline",
    "guardrail": "injection",
    "score": 0.94
  }
}

Contoh ini hanya ilustrasi. Lihat docs/openapi/ untuk skema error terkini.

Header transparansi guardrail

Setiap respons menyertakan header hasil guardrail. Periksa header ini di log API Anda untuk memastikan pipeline berjalan dengan benar.

X-Anoman-Guardrail-Injection: pass score=0.07
X-Anoman-Guardrail-Pii: pass
X-Anoman-Guardrail-Content: pass
X-Anoman-Cache: none