Marketing mit Künstlicher Intelligenz

Seit vielen Jahren ist Content Marketing die bevorzugte Werbemethode in vielen Unternehmen. Inhalte, die weiterbilden, beraten oder einfach nur unterhalten sollen. Content Marketing enthält im Gegensatz zu traditionellen Werbeinhalten keine direkte Werbebotschaft. Content Marketing zielt darauf ab, das Markenbewusstsein und die Markenwahrnehmung durch nicht-kommerzielle Inhalte zu erhöhen, und trägt somit erst in zweiter Linie zu Umsatzsteigerung und Mehrwert bei.

Content Marketing erfordert wie andere Formen von Marketing- und Werbemitteln eine große Anzahl von Texten und Inhalten, die traditionell von Menschen geschrieben werden.

Seit einiger Zeit sind Forscher/innen und Entwickler/innen damit beschäftigt, neuronalen Netzen beizubringen, Texte zu erstellen, und zwar mit einigen kuriosen stilistischen Schnörkeln. Vor fünf Jahren wurde zum Beispiel ein rekurrentes neuronales Netzwerk vorgestellt, das Kurzgeschichten zu Bildern erfand. Das Netzwerk “Neural Storyteller” wurde mit 14 Millionen Absätzen aus Liebesromanen und Songtexten von Taylor Swift trainiert, um entsprechende Beschreibungen zu erzeugen.

Zum Beispiel generierte das neuronale Netzwerk die folgende Passage als Antwort auf ein Foto von zwei Sumo-Ringern inmitten eines Kampfes: Im Hinterkopf war er ein Mann ohne Hemd, und ich fluchte, als er sich vorbeugte, um mich auf die Schulter zu küssen. Er wollte mich erwürgen, weil ich mich in den schönen Jungen verwandelt hatte, während er seine Boxershorts trug.

Das ist zwar unterhaltsam, aber für ernsthafte Anwendungen ist es unbrauchbar.

2019 stellte Facebook Research ein neues Modell für die Generierung von Geschichten vor . Es basiert auf dem Reddit WritingPrompts Forum. Die Nutzer/innen posten einen “Prompt”, der aus einem oder mehreren Wörtern bestehen kann, und andere Nutzer/innen versuchen, auf der Grundlage des Prompts eine Geschichte zu schreiben und sie als Kommentar zu posten.

Verschiedene Netzwerkarchitekturen wie CNN und RNN haben gezeigt, dass sie kurze Textsequenzen erzeugen können, aber bei längeren Passagen den Fokus verlieren. Zu diesem Zweck führt Facebook eine neue Architektur namens “Fusion Models” ein, bei der ein neuronales Netzwerk lernt, was ein zweites nicht kann.

Im Vergleich zum Neural Storyteller sind die Ergebnisse viel glatter und menschenähnlicher. Anhand der Aufforderung “Aliens entführen Menschen” produzierte das Netzwerk die folgende Kurzgeschichte: “Es ist zwei Wochen her, und der letzte meiner Art ist verschwunden.” Es ist nur eine Frage der Zeit, bis es nichts mehr gibt. Ich habe keine Ahnung, was hier los ist… Ich bin unfähig zu denken. Ich höre einen Schrei aus der Ferne. Ich höre ein seltsames, fremdes Geräusch. Ich versuche zu sprechen, aber ich werde von etwas unterbrochen, das sich wie eine Trommel anfühlt, aber ich bin mir nicht sicher, was es ist. Ich meine, ich bin nur ein paar Jahre älter als der Durchschnittsmensch. Aber ich kann die Schwingungen hören und fühlen. Ein Schiff nähert sich, und ich kann es hören. Der Boden zittert durch die Wucht des Aufpralls und eine laute Explosion durchbricht die Stille.”

Das GPT-2-Modell von OpenAI (https://github.com/openai/gpt-2) hat internationales Interesse geweckt, auch außerhalb der technischen Gemeinschaft. OpenAI hat es sich zum Ziel gesetzt, künstliche Intelligenz zu demokratisieren und gleichzeitig auf die Gefahren ihrer unregulierten Nutzung hinzuweisen. Sie ist irgendwo zwischen einem Startup und einer NGO angesiedelt. Mit dem OpenAI Gym hat OpenAI eine Plattform geschaffen, auf der Nutzer/innen ihre eigenen auf maschinellem Lernen basierenden Anwendungen mithilfe von Videospielen trainieren können. Als die künstliche Intelligenz OpenAI five im Jahr 2019 das Weltmeisterteam im kooperativen Multiplayer-Spiel Dota-2 besiegte, erzielten die Entwickler von OpenAI einen mehr als respektablen Erfolg.

Nachdem sie u.a. eine Millioneninvestition von Microsoft angenommen haben, ist OpenAI alles andere als unumstritten. Sowohl der ursprüngliche Mitbegründer Elon Musk als auch angesehene Institutionen wie MIT Technology Review üben scharfe Kritik an OpenAI und vermuten entweder eine politische Agenda hinter der Veröffentlichung bestimmter Forschungsergebnisse oder dass das Unternehmen versucht, sich durch Transparenz und das Teilen von Forschungsergebnissen einen wirtschaftlichen Vorteil zu verschaffen.

Daher sollte man den Behauptungen von OpenAI über ihr Transformatormodell GPT-2 mit Vorsicht begegnen. OpenAI hat GPT-2 als das effektivste System für eine breite Palette von Aufgaben der natürlichen Sprachverarbeitung vorgestellt. Tatsächlich ist es so gut, dass eine Veröffentlichung des Modells zu riskant wäre.

Stattdessen wurde eine stufenweise Veröffentlichung gewählt: zuerst kleine Modelle mit wenigen Parametern, dann mittlere und schließlich das endgültige Modell, das von einem System zur Erkennung von mit GPT-2 erstellten Texten begleitet wurde.

OpenAI ist vergleichbar mit einem BERT a Transformer-Modell, das auf 40 GB Internettext trainiert wurde. Die Daten, die OpenAI verwendet, wurden auf indirekte Weise kuratiert. Um in den Datensatz aufgenommen zu werden, mussten die Texte mindestens 3 Karma auf der Reddit-Plattform erhalten haben (analog zu Facebook-Likes).

In der anfänglichen Ankündigung hieß es, dass die von GPT-2 produzierten Texte nicht von denen zu unterscheiden sind, die von Menschen geschrieben wurden, und es wurden auch Beispiele angeführt, in denen das Modell aus einem Zweizeiler einen seitenlangen zusammenhängenden Text produziert. Die zugrundeliegende Methode basiert darauf, das Modell so zu trainieren, dass es das nächste Wort in einer Sequenz vorhersagen kann, wobei alle vorherigen Wörter berücksichtigt werden.

Im Prinzip ist die Qualität des Modells unbestritten. Die Cornell University hat die generierten Texte verglichen und dem Modell mit 1,5 Milliarden Parametern einen Glaubwürdigkeitswert von 6,91 von 10 möglichen Punkten zugewiesen. Die Glaubwürdigkeitspunkte beschreiben, für wie vertrauenswürdig die Menschen die generierten Texte halten. Das mittlere Modell mit 774 Millionen Parametern erhielt auf der gleichen Skala einen Wert von 6,72, was die Kritik an der Veröffentlichungsstrategie als Publicity-Gag verstärkt. Das kleinste Modell mit 355 Millionen Parametern erhielt einen Wert von 6,07.

Unsere Kollegen vom Center on Terrorism, Extremism, and Counterterrorism (CTEC) des Middlebury Institute of International Studies untersuchten die Modelle auf eine mögliche Nutzung durch Terroristen zur automatischen Generierung von Propaganda. Das CTEC verwendete GTP-2 als Grundlage und trainierte es darauf, Texte aus den Spektren der weißen Vorherrschaft, des Marxismus, des radikalen Dschihadismus und des Anarchismus zu erzeugen.

Laut CTEC war diese synthetische Propaganda glaubwürdig und wurde in der Regel von Menschen geglaubt. Daher ist es beruhigend zu wissen, dass das von OpenAI veröffentlichte Erkennungstool Texte, die mit GPT-2 erstellt wurden, mit einer Genauigkeit von bis zu 95% erkennen kann.

Im Folgenden wird die Beschreibung des aktuellen US-Präsidenten von whitehouse.gov mit einem automatisch erstellten Text verglichen, um zu zeigen, wie glaubwürdig mit GPT-2 erstellte Texte sein können.

Die Einleitung ist in beiden Texten gleich oder diente GPT-2 als Eingabe, um den Rest des Textes zu erstellen.

Einleitung:

Donald J. Trump ist zum 45. Präsidenten der Vereinigten Staaten gewählt worden. Er glaubt, dass die Vereinigten Staaten über ein enormes Potenzial verfügen und dass sie selbst ihre bemerkenswertesten Leistungen in der Vergangenheit noch übertreffen werden.

Variante 1 (von Menschen geschrieben):

Sein Wahlkampfslogan für die Präsidentschaft war “Make America Great Again”, und genau das tut er jetzt. Donald J. Trump ist der Inbegriff der amerikanischen Erfolgsgeschichte. Im Laufe seiner Karriere hat er immer wieder neue Maßstäbe für geschäftlichen und unternehmerischen Erfolg gesetzt, insbesondere in den Bereichen Immobilien, Sport und Unterhaltung. Mr. Trump baute seinen privaten Erfolg aus, als er in die Politik und den öffentlichen Dienst eintrat.

Variante 2 (GPT-2 produziert):

Um Amerikas Größe wiederzuerlangen, müssen wir den Lauf unserer Geschichte ändern. Um dieses Ziel zu erreichen, will Donald J. Trump die historische Agenda für die Erneuerung Amerikas fortsetzen und vorantreiben, eine Agenda, die Amerikas Größe wiederherstellt. Präsident Trump wird dieses Land größer machen, als es jemals war, und große Dinge vollbringen, die ein dauerhaftes Vermächtnis für unser Land hinterlassen werden.

Beide Texte weisen bestimmte Gemeinsamkeiten auf, wie z. B. die Erwähnung des Wahlkampfslogans in der einen oder anderen Form, was interessante Rückschlüsse auf das Trainingsset zulässt, das Mitte bis Ende 2018 erstellt wurde.

Die mit GPT-2 erstellte Variante ist die zweite, die mit keinem anderen Input als dem bereits erwähnten Set erstellt wurde.

Das verwendete Modell ist das GPT-2-Modell mit 774 Millionen Parametern, das nicht weiter trainiert oder feinabgestimmt wurde. Anhand des Beispiels kann man sich leicht vorstellen, welche Ergebnisse möglich sind, wenn auf der Grundlage des Basismodells ein domänenspezifisches Training durchgeführt wird, z. B. mit dem zuvor veröffentlichten Wahlkampfmaterial von Mr. Trump.

Auch wenn Wahlkampf eine Form der Werbung ist, ist es natürlich möglich, GPT-2 durch produkt-, marken- oder branchenspezifische Eingaben auf die jeweilige Branche abzustimmen. Eine einfache Feedbackschleife, die auf den Reaktionen der Nutzer/innen auf synthetisch erzeugte Texte in sozialen Netzwerken basiert, kann zum Beispiel eingerichtet werden.

Open AI hat Ende Mai 2020 GPT-3 , das bisher größte Sprachmodell, vorgestellt. GPT-3 ist das mit Abstand größte Modell mit unglaublichen 175 Milliarden Parametern. Im Vergleich dazu hat das Turing-NLG-Modell von Microsoft, das im Februar 2020  vorgestellt wurde, “nur” 17 Milliarden Parameter.

Die Autorinnen und Autoren zeigen in dem entsprechenden Beitrag, dass große Sprachmodellaufgaben auch ohne explizites Training Spitzenergebnisse erzielen können. Viele Aufgaben können übersprungen werden, wenn das Ausgangsmodell nur groß genug ist.

Die Forscher/innen prägen die Begriffe Few-Shot, One-Shot und Zero-Shot, um die Fähigkeiten von GPT-3 mit anderen Architekturen oder Modellgrößen zu vergleichen.

Few-Shot bezieht sich auf eine Methode, bei der dem Modell eine Textbeschreibung der zu lösenden Aufgabe sowie K Beispiele für die zu lösende Aufgabe gezeigt werden. Das Open AI Team verwendete K-Werte zwischen 10 und 100.

GPT-3 zeichnet sich vor allem beim Verfassen von Texten aus. Um die Fähigkeiten von GPT-3 auf die Probe zu stellen, wurden 25 Artikelüberschriften und Untertitel zufällig aus dem Nachrichtenaggregator newser.com ausgewählt und zu Artikeln vervollständigt.

Die so entstandenen Artikel wurden 80 Probanden gezeigt, die feststellen sollten, ob sie von einem Menschen oder einer Maschine geschrieben worden waren. Nur 52% der Artikel wurden bei diesem Verfahren richtig eingestuft, das waren 2% mehr als beim Raten. Das ist eine bemerkenswerte Leistung angesichts der Bedenken, die in Open AI über die Veröffentlichung von GPT-2 geäußert wurden.