LaMDA: Die hammermäßige Gesprächstechnologie
LaMDA, die neueste Knaller-Forschungserungenschaft, bringt richtig was in Sachen Konversation. Immer wenn Leute quatschen, dreht sich's meist um bestimmte Themen. Aber bei LaMDA ist's anders: Die Gespräche können überall hin führen. Ein Chat mit 'nem Kumpel über ne Serie kann plötzlich zur Diskussion über das Land kommen, wo die Serie gedreht wurde, und dann landet man bei ner Debatte über die beste regionale Küche des Landes. Diese verwirrende Art kann moderne Gesprächsagenten (also sozusagen Chatbots) schnell überfordern, die meist nur enge, vorher festgelegte Wege gehen.
Aber LaMDA – kurz für „Language Model for Dialogue Applications“ – kann locker über unzählige Themen reden. Das hat Jahre gedauert, bis das so weit war. Genau wie viele andere aktuelle Sprachmodelle, baut auch LaMDA auf Transformer auf, einer Neuralen Netzwerkarchitektur, die Google Research erfunden und für alle zugänglich gemacht hat. Mit dieser Architektur entsteht ein Modell, das trainiert wird, viele Wörter zu lesen (zum Beispiel einen Satz oder einen Absatz) und zu gucken, wie die Wörter zusammenhängen. Dann sagt es voraus, welche Wörter wohl als nächstes kommen.
Aber LaMDA unterscheidet sich von den meisten anderen Sprachmodellen: Es wurde speziell fürs Gespräch trainiert. Während des Trainings hat es ein paar Feinheiten gelernt, die offene Gespräche von anderen Sprachformen unterscheiden. Eine davon ist die Sinnhaftigkeit. Also: Passt die Antwort auf den Gesprächskontext? Wenn jemand sagt: „Ich hab gerade angefangen, Gitarrenunterricht zu nehmen.“, dann erwartet man vielleicht, dass jemand anders so antwortet: „Geil! Meine Ma hat ne alte Martin, die sie gerne spielt.“ Die Antwort macht Sinn in Bezug auf die erste Aussage.
Aber Sinnhaftigkeit ist nicht alles. Schließlich ist „Das ist nett“ eine sinnvolle Antwort auf fast jede Aussage, so wie „Ich weiß nicht“ eine sinnvolle Antwort auf die meisten Fragen ist. Gute Antworten sind auch meistens konkret und passen klar in den Gesprächsrahmen. Bei dem Beispiel oben ist die Antwort sinnvoll und konkret.
LaMDA baut auf früheren Google-Forschungen auf, die 2020 veröffentlicht wurden. Damals hat man gezeigt, dass Transformer-basierte Sprachmodelle, die fürs Gespräch trainiert werden, lernen können, über praktisch alles zu reden. Seitdem haben wir auch festgestellt, dass LaMDA nach dem Training noch feiner eingestellt werden kann, um die Sinnhaftigkeit und Spezifität seiner Antworten deutlich zu verbessern.
Erste Priorität: Verantwortung
Die ersten Ergebnisse sind super vielversprechend und wir freuen uns, bald mehr zu zeigen. Aber Sinnhaftigkeit und Spezifität sind nicht die einzigen Sachen, auf die wir bei Modellen wie LaMDA achten. Wir gucken auch noch nach anderen Aspekten wie „Interessantheit“. Wir prüfen, ob die Antworten tiefgründig, unerwartet oder witzig sind. Als Google kümmern wir uns auch mega um die Richtigkeit (also ob LaMDA bei den Fakten bleibt, was für Sprachmodelle oft nicht so einfach ist) und suchen Wege, um sicherzustellen, dass die Antworten von LaMDA nicht nur überzeugend sind, sondern auch richtig.
Aber die wichtigste Frage, die wir uns stellen, wenn es um unsere Technologien geht, ist, ob sie unseren AI-Prinzipien entsprechen. Sprache ist zwar eines der besten Tools der Menschheit, aber wie jedes Tool kann sie auch missbraucht werden. Modelle, die mit Sprache trainiert werden, können diesen Missbrauch weitergeben – zum Beispiel indem sie Vorurteile verinnerlichen, hasserfüllte Sprache nachahmen oder irreführende Informationen wiedergeben. Und selbst wenn die Sprache, mit der das Modell trainiert wird, sorgfältig geprüft wird, kann das Modell selbst noch schlecht genutzt werden. Unsere oberste Priorität bei der Entwicklung von Technologien wie LaMDA ist es, diese Risiken so gering wie möglich zu halten. Wir kennen die Probleme, die mit maschinellen Lernmodellen verbunden sind, wie unfaire Vorurteile, weil wir schon lange an diesen Technologien forschen und entwickeln. Deshalb bauen wir Ressourcen und veröffentlichen sie für alle, damit Forscher die Modelle und die Daten, mit denen sie trainiert werden, analysieren können. Wir haben LaMDA in jeder Phase seiner Entwicklung genau unter die Lupe genommen und werden das auch weiter tun, wenn wir versuchen, die Konversationsfähigkeiten in mehr unserer Produkte einzubauen.
