BLOOM : Le Modèle de Langage Multilingue Ouvert et de Grande Taille
Les modèles de langage de grande taille (LLM) ont eu un impact significatif sur la recherche en IA. Cependant, il est difficile pour l'académie, les ONG et les petits laboratoires de recherche des entreprises de créer, étudier ou même utiliser ces LLM, car seuls quelques laboratoires industriels disposant des ressources nécessaires et des droits exclusifs peuvent y accéder pleinement. Aujourd'hui, nous présentons BLOOM, le premier LLM multilingue formé en toute transparence, fruit de la plus grande collaboration jamais vue entre des chercheurs en IA. Avec ses 176 milliards de paramètres, BLOOM est capable de générer du texte dans 46 langues naturelles et 13 langues de programmation. Pour presque toutes ces langues, telles que l'espagnol, le français et l'arabe, BLOOM sera le premier modèle de langage avec plus de 100 milliards de paramètres jamais créé. Ce projet a mobilisé plus de 1000 chercheurs de 70 pays et 250 institutions, avec un entraînement de 117 jours (du 11 mars au 6 juillet) sur le superordinateur Jean Zay au sud de Paris, grâce à une subvention de calcul d'un montant estimé à 3 millions d'euros des agences de recherche françaises CNRS et GENCI. Les chercheurs peuvent désormais télécharger, exécuter et étudier BLOOM pour examiner les performances et le comportement des modèles de langage de grande taille récemment développés jusqu'à leurs opérations internes les plus profondes. Plus généralement, toute personne ou institution acceptant les termes de la licence d'IA responsable du modèle (développée lors du projet BigScience) peut l'utiliser et s'appuyer sur le modèle sur une machine locale ou sur un fournisseur de cloud, car il est intégré dans l'écosystème Hugging Face, aussi simple que de l'importer avec transformers et de l'exécuter avec accelerate. Dans cet esprit de collaboration et d'amélioration continue, nous publions également, pour la première fois, les points de contrôle intermédiaires et les états de l'optimiseur de l'entraînement. Vous n'avez pas 8 A100 à disposition? Nous finalisons une API d'inférence pour une utilisation à grande échelle, même sans matériel dédié ou expertise en ingénierie. En attendant, pour des tests rapides, du prototypage et une utilisation à plus petite échelle, vous pouvez déjà jouer avec une version précoce sur le HF hub. Ce n'est que le début. Les capacités de BLOOM continueront de s'améliorer au fur et à mesure que l'atelier expérimente et bricole avec le modèle. Nous avons commencé à travailler pour le rendre aussi instructif que notre précédent effort T0++ et nous prévoyons d'ajouter plus de langues, de compresser le modèle en une version plus utilisable avec le même niveau de performance et de l'utiliser comme point de départ pour des architectures plus complexes... Toutes les expériences que les chercheurs et les praticiens ont toujours voulu mener, en commençant par la puissance d'un modèle de plus de 100 milliards de paramètres, sont désormais possibles. BLOOM est la graine d'une famille de modèles vivants que nous avons l'intention de faire grandir, pas seulement un modèle unique.
