reliableGPT: Garantindo a confiabilidade do seu aplicativo LLM
reliableGPT é uma solução poderosa para garantir a confiabilidade e o funcionamento contínuo de aplicativos LLM. Ele lida com uma variedade de problemas, incluindo limite de taxa, tempo limite, erros de API e chaves.
Core Features:
- Retenta com modelos alternativos, como GPT-4, GPT3.5, GPT3.5 16k e text-davinci-003, em caso de falha.
- Retenta com modelos com janela de contexto maior para erros de janela de contexto.
- Envia uma resposta em cache (usando similaridade semântica) em caso de falha.
- Retenta com uma chave de API alternativa para erros de chave de API inválida.
Basic Usage:
- Instale a biblioteca com
pip install reliableGPT. - Integre com OpenAI, Azure OpenAI, Langchain e LlamaIndex usando apenas uma linha de código.
Com reliableGPT, você pode ter certeza de que seus aplicativos LLM funcionarão de forma confiável, evitando falhas e garantindo a satisfação do usuário.
