BERT : Le truc qui déboîte le TPN
BERT, ou Bidirectional Encoder Representations from Transformers, c'est le nouveau phénomène dans le monde du traitement du langage naturel. Il règle le problème du manque de données d'entraînement en s'appuyant sur un pré-entraînement sur une masse énorme de texte non annoté.
Le truc de BERT, c'est qu'il est le premier à être vraiment bidirectionnel et non supervisé en matière de représentation du langage. Pas comme les autres modèles, il prend en compte le contexte d'un mot avant et après dans une phrase, en partant du bas d'un réseau neuronal profond. Cette bidirectionnalité permet une compréhension du langage plus précise et complète.
Pour ce qui est de l'utilisation de base, BERT peut être ajusté sur toutes sortes de tâches de TPN, genre répondre aux questions et analyser les sentiments. Il a montré des résultats de ouf sur 11 tâches de TPN, y compris le dataset de questions-réponses de Stanford (SQuAD v1.1) qui est super compétitif. La sortie de BERT inclut le code source et des modèles de représentation du langage pré-entraînés, ce qui permet à n'importe qui de former son propre système de TPN de pointe.
Le succès de BERT, c'est aussi grâce aux Cloud TPUs, qui ont donné le pouvoir de faire des expériences rapides et d'améliorer le modèle. En plus, l'architecture du modèle Transformer a posé les bases du succès de BERT.
Bref, BERT, c'est un truc de malade qui ouvre des portes à plein d'applications dans le TPN.
