BerriAI/reliableGPT : Un outil de folie pour l'uptime et la gestion des erreurs
BerriAI/reliableGPT, c'est le truc de ouf pour garantir un uptime à 100% et gérer toutes sortes d'erreurs, genre les limites de taux, les délais d'attente, les pépins d'API et les soucis de clés.
Les fonctionnalités de ouf :
- Mécanisme de réessai : Quand une demande à votre appli LLM foire, reliableGPT s'attaque au problème en essayant avec un modèle alternatif, genre GPT-4, GPT3.5, GPT3.5 16k ou text-davinci-003.
- Gestion de la fenêtre de contexte : Pour les erreurs de fenêtre de contexte, il refait automatiquement votre demande avec des modèles avec des fenêtres de contexte plus grandes.
- Mise en cache : Si les tentatives avec les modèles et les réessais échouent, reliableGPT vous propose aussi un système de mise en cache.
L'utilisation, c'est simple comme bonjour :
- Installation : Pour commencer, installez le package avec
pip install reliableGPT. - Intégration : L'intégration avec OpenAI, Azure OpenAI, Langchain et LlamaIndex, c'est du gâteau. Il suffit d'importer
reliableGPTet de configureropenai.ChatCompletion.create.
Bref, BerriAI/reliableGPT, c'est l'outil indispensable pour assurer la fiabilité et la continuité de vos applis LLM.
