Vicuna : Un chatbot open-source révolutionnaire
Le monde des modèles de langage est en pleine évolution, et Vicuna en est un excellent exemple. Ce chatbot open-source, basé sur le modèle LLaMA et entraîné sur des conversations utilisateurs partagées de ShareGPT, a fait sensation. Son évaluation préliminaire, utilisant GPT-4 en tant que juge, montre qu'il atteint plus de 90% de la qualité d'OpenAI ChatGPT et de Google Bard, surpassant d'autres modèles tels que LLaMA et Stanford Alpaca dans plus de 90% des cas.
L'entraînement de Vicuna a été réalisé en fine-tunant un modèle LLaMA de base avec environ 70 000 conversations utilisateurs. Pour garantir la qualité des données, elles ont été converties de HTML en markdown et certains échantillons inappropriés ou de faible qualité ont été filtrés. De plus, les conversations longues ont été divisées en segments plus petits pour s'adapter à la longueur de contexte maximale du modèle.
Le système de service de Vicuna est capable de gérer plusieurs modèles avec des travailleurs distribués. Il prend en charge l'intégration flexible de travailleurs GPU provenant de clusters sur site et du cloud. Grâce à un contrôleur tolérant aux pannes et à la fonctionnalité de gestion des instances spot de SkyPilot, ce système de service peut fonctionner efficacement avec des instances spot moins chères de plusieurs clouds, réduisant ainsi les coûts de service.
L'évaluation des chatbots est un défi, mais l'équipe de Vicuna a proposé un cadre d'évaluation basé sur GPT-4 pour automatiser l'évaluation des performances des chatbots. Cependant, ce cadre n'est pas encore parfait et nécessite d'autres recherches pour devenir plus rigoureux et mature.
Malgré certaines limites, telles que des difficultés dans les tâches de raisonnement ou de mathématiques, et des problèmes potentiels d'identification et d'exactitude des informations, Vicuna représente un point de départ ouvert pour la recherche future afin de surmonter ces défis.
