Python
GateCtr + LiteLLM
Proxy LiteLLM calls through GateCtr for unified cost tracking
1
Installer
No additional packages required. Use your existing LiteLLM installation.
2
Configurer
Avant
import litellm
response = litellm.completion(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello"}]
)Après GateCtr
import litellm
response = litellm.completion(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello"}],
api_base="https://api.gatectr.com/v1"
)3
Tester
Make a test call and check the GateCtr dashboard for token savings and cost data.
Ce que GateCtr fait en coulisses pour LiteLLM
Quand vous routez les appels LiteLLM via GateCtr, chaque requête est automatiquement compressée (jusqu'à 40% de tokens en moins), scorée pour la complexité (pour sélectionner le modèle optimal) et vérifiée par rapport à votre budget cap avant d'atteindre le provider LLM. Vous obtenez une visibilité complète — tokens, coût, latence — dans le dashboard GateCtr.