Deutsche GPT-3 Alternative – Die riesige Sprach KI aus Deutschland

Deutsche GPT-3 Alternative – Die riesige Sprach KI aus Deutschland

Automatische Textgenerierung mit KI

KI-gestützte Lösung zur automatisierten Texterstellung mit GPT-3 in deutscher Sprache. Wir verleihen deinem Unternehmen Superkräfte, um mühelos tausende Texte, Produktbeschreibungen oder Blogartikel automatisiert zu erstellen.

Neue amerikanische und chinesische neuronale Netze haben einen überraschenden Erfolg. Hierzulande bildet sich eine Gruppe, die ihnen nacheifert.

Ist die gigantische Größe ein Faktor für den Erfolg? Riesige künstliche Intelligenzen (KI) aus den USA und China beeindrucken Experten auf der ganzen Welt mit ihrer Fähigkeit, Sprache zu verstehen und für eine Vielzahl von Aufgaben zu nutzen, manchmal auf einem Niveau, das dem des Menschen gleichkommt. Wirtschaftlich gesehen ist dies ein Milliardengeschäft, technologisch gesehen ist es wohl ein Schritt hin zu KI-Systemen, die nicht mehr nur in einer hochspezialisierten Fähigkeit außergewöhnlich sind, sondern auch über allgemeinere Fähigkeiten verfügen.

In Deutschland wollen Forscher/innen und Unternehmer/innen diesem Phänomen mit etwas Ähnlichem begegnen. Sie haben sich in einem Projekt namens OpenGPT-X zusammengeschlossen, das darauf abzielt, wettbewerbsfähige KI-Systeme zu entwickeln und sie für kleine und mittlere deutsche Unternehmen leicht zugänglich zu machen. Die Bundesregierung hat das Projekt jetzt im Rahmen der Gaia-X-Initiative ausgewählt und fördert es.

 

Ein allgemeines Sprachmodell für Deutschland

 

“Wir wollen mindestens ein allgemeines Sprachmodell auf  Deutsch entwickeln, das international verfügbar und wettbewerbsfähig ist”, sagt Joachim Köhler, KI-Experte am Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme in Sankt Augustin, das das Konsortium koordiniert. Zu dem Konsortium gehören neben der Forschungsorganisation die KI-Unternehmen Aleph Alpha, Alexander Thamm und Control¬Expert, das Forschungszentrum Jülich, die Technische Universität Dresden, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), der Internetanbieter 1&1 IONOS, der Westdeutsche Rundfunk und der Deutsche KI-Verband. Fraunhofer-Forscher Köhler weist darauf hin, dass die Bestrebungen des Unternehmens weit über die Wissenschaft hinausgehen: “Die deutsche Industrie, zum Beispiel die Automobilbranche, ist sehr an diesem Thema interessiert. Eines der Themen hier sind robuste Fragebeantwortungssysteme.”

Die amerikanischen und chinesischen Konkurrenten, die derzeit die Standards setzen, sind ebenso renommiert wie genial. Ein riesiges neuronales Netzwerk namens GPT 3 hat für Aufsehen gesorgt. Es wurde von Tüftlern des kalifornischen KI-Unternehmens OpenAI entwickelt, das einst von Elon Musk mitgegründet wurde. Die Abkürzung GPT 3 steht für “Generative Pretrained Transformer 3”; die Bestandteile des Namens “Generative”, “Pretrained” und “Transformer” sagen viel darüber aus, wie die Entwickler dieses Modell gebaut und trainiert haben.

Im Vergleich zu seinem Vorgänger unterscheidet es sich vor allem dadurch, dass es mit viel mehr Daten trainiert wurde und um ein Vielfaches größer ist; GPT 3 hat 175 Milliarden Parameter, sozusagen die kleinsten Stellschrauben, die sein Lernen und seine Leistung mitbestimmen. Ein neuronales Netz dieser Größe gab es bisher nicht.

Allerdings ist es nicht mehr das einzige und größte seiner Art: Anfang des Jahres stellte Google sein Sprachmodell “Switch Transformer” vor, das 1,6 Billionen Parameter hat, und die Beijing Chinese Academy of Artificial Intelligence (BAAI) stellte kürzlich ihr KI-System WuDao 2.0 vor, das mit 1,75 Billionen Parametern zehnmal größer sein soll als GPT 3 und zudem nicht nur mit Sprachdaten, sondern auch mit vielen Bildern trainiert wurde. Führende Forscher/innen staunen darüber, was die neuen gigantischen KI-Netzwerke leisten können – auch wenn sie immer wieder darauf hinweisen, dass sie derzeit noch weit vom vielseitigen menschlichen Gehirn entfernt sind.

“Es ist wirklich eine erstaunliche Erfindung, die gut funktioniert. Aber GPT 3 kann noch verbessert werden. Ich finde GPT 3 besonders spannend im Hinblick darauf, was GPT 7 sein könnte – oder was ein anderer Algorithmus in ein paar Jahren sein könnte”, sagte Andrew Ng, ein Stanford-Professor und jetzt unabhängiger KI-Unternehmer, kürzlich in einem Interview mit der F.A.Z. – er hat einst Googles KI-Forschungsgruppe mit aufgebaut und leitete zeitweise auch die entsprechende Abteilung des chinesischen Computerunternehmens Baidu.

Berichten zufolge arbeitet OpenAI schon lange an der Nachfolgeversion des aktuellen Systems. Die Tatsache, dass das gemeinnützige Projekt unter der Leitung von Sam Altman dank einer Investition des IT-Unternehmens Microsoft in Höhe von einer Milliarde Dollar zu einem kommerziellen Anbieter geworden ist, ist ein weiterer Grund für deutsche und europäische Konkurrenten, sich zu beeilen.

 

Eine neue Ära der künstlichen Intelligenz

 

“Modelle wie GPT 3 haben eine neue Ära der künstlichen Intelligenz eingeleitet”, sagt Jonas Andrulis. Er ist einer der Hoffnungsträger hierzulande, wenn es darum geht, wettbewerbsfähige KI-Anwendungen in dem Gebiet zu entwickeln, in dem OpenAI aktiv ist – man hört ihn auch in Berlin. Noch vor ein paar Jahren war Andrulis einer der führenden KI-Experten in Apples Abteilung für Sonderprojekte. Dann zog er zurück nach Deutschland und gründete Aleph Alpha mit Sitz in Heidelberg, mit dem ausdrücklichen Ziel, eines Tages eine Art allgemeine künstliche Intelligenz “made in Germany” zu schaffen.

Zusammen mit seinen Mitarbeitern hat er bereits ein Modell entwickelt, das mindestens so groß ist wie GPT 2. Er sieht die aktuellen Fortschritte von Computern beim Sprachverständnis und der Sprachverarbeitung als vielversprechend an. “GPT 3 ist nicht das Ende, sondern der Anfang einer Evolution”, sagt er und prophezeit: “Ich erwarte, dass GPT 4 oder GPT 5 wirklich in der Lage sein wird, das gesamte Wissen der Welt zu verarbeiten.” Er sagt, es ist auch ein Durchbruch bei einer zentralen Herausforderung, die KI-Forscher/innen von Anfang an zu bewältigen versucht haben. “Eine große Frage war immer, ob und wie wir einem Computer das beibringen können, was wir gemeinhin als gesunden Menschenverstand bezeichnen. Jetzt zeigt sich, dass es offenbar funktioniert.”

Damit es funktioniert, sind jedoch nicht nur riesige Datenmengen, sondern auch eine enorme Rechenleistung erforderlich. “Aufgrund des erforderlichen Aufwands, vor allem in Bezug auf die Rechenkapazität, können diese Modelle nur von finanz- und ressourcenstarken Unternehmen umgesetzt werden”, heißt es in einem aktuellen Aufruf des KI-Bundesverbands, den auch Andrulis unterzeichnet hat – nur wenige Wochen bevor die Bundesregierung jetzt die Förderung von OpenGPT-X bekannt gab.

Die Mitglieder des neuen Projekts wollen sich vor allem auf die Rechenleistung des JUWEL-Supercomputers in Jülich (das Akronym steht für “Jülich Assistant for European Leadership Science”) stützen, der inzwischen zu den zehn leistungsstärksten klassischen Computern der Welt gehört. Außerdem sollen die Fähigkeiten von Dresden eine Rolle spielen. Ob das angesichts der dynamischen internationalen Entwicklung ausreichen wird, scheint nicht selbstverständlich zu sein. “Wir bauen auf den vorhandenen Supercomputerstrukturen in Deutschland auf, die eine vielversprechende Grundlage für das Training großer Sprachmodelle sind”, sagt Fraunhofer-Forscher Köhler dazu.

 

“Vom digitalen Aussterben bedroht”

 

Und der Zeitplan lässt auch Zweifel aufkommen, ob dies schnell genug geschehen wird. Im November, wenn alle Anträge auf dem richtigen Weg und genehmigt sind, soll das Projekt tatsächlich starten, und ein Jahr später, im Winter 2022, soll dann das erste große Sprachmodell fertig sein, hofft Köhler. “OpenGPT-X ist an dieser Stelle eine vernünftige Absichtserklärung”, sagt Andrulis, CEO von Aleph Alpha, und merkt an: “Um nicht zu weit zurückzufallen, brauchen wir aber auch unabhängig davon Geschwindigkeit und Innovation.”

Sicherlich denken die Teilnehmer zuerst an Deutschland und die Deutschen. Aber gleichzeitig wollen sie auch, dass Europa mit seinen vielen verschiedenen Sprachen in Sachen Sprachtechnologie insgesamt mehr zu bieten hat. “Englisch ist die am meisten technologisch unterstützte Sprache, aber viele kleinere Sprachen in Europa sind vom digitalen Aussterben bedroht”, sagt Georg Rehm vom DFKI, einem Projektpartner.

Er selbst hat schon vor einigen Jahren auf dieses Problem aufmerksam gemacht und koordiniert eine europäische Initiative namens European Language Grid (ELG), die dies verhindern soll. Er arbeitet an einer cloudbasierten Plattform, die es den unzähligen Anbietern von Sprachtechnologien ermöglichen soll, sich auf gemeinsame technische Standards zu einigen, um einen wettbewerbsfähigen Markt zu schaffen. “Europa ist ein mehrsprachiger Kosmos, der durch eine angemessene Sprachtechnologie für alle europäischen Sprachen unterstützt werden sollte.”