Python
GateCtr + LlamaIndex
Add budget control and token optimization to LlamaIndex pipelines
1
Installer
No additional packages required. Use your existing LlamaIndex installation.
2
Configurer
Avant
from llama_index.llms.openai import OpenAI llm = OpenAI(model="gpt-4o", api_key="sk-...")
Après GateCtr
from llama_index.llms.openai import OpenAI
llm = OpenAI(
model="gpt-4o",
api_key="sk-...",
api_base="https://api.gatectr.com/v1"
)3
Tester
Make a test call and check the GateCtr dashboard for token savings and cost data.
Ce que GateCtr fait en coulisses pour LlamaIndex
Quand vous routez les appels LlamaIndex via GateCtr, chaque requête est automatiquement compressée (jusqu'à 40% de tokens en moins), scorée pour la complexité (pour sélectionner le modèle optimal) et vérifiée par rapport à votre budget cap avant d'atteindre le provider LLM. Vous obtenez une visibilité complète — tokens, coût, latence — dans le dashboard GateCtr.