Evaluation großer Sprachmodelle.

Wie unterscheiden sich unterschiedliche deutsche Sprachmodelle?

Evaluation

Wir vergleichen im Folgenden unterschiedliche Sprachmodelle miteinander. Bei dem Vergleich sollten immer die Parameter der verschiedenen Netze berücksichtigt werden. Als Überblick über die Parameteranzahl dient die folgende Tabelle:

Zu AlephAlpha ist anzumerken, dass eine angepasste Version für komplexere Zusammenhänge unter dem Namen control verfügbar ist. Wir verwenden für die Interaktion mit den AlephAlpha-Modellen den Playground-Complete und die Promp-Template "Q:{frage}\nA:", wie es von AlephAlpha empfohlen wird. Es werden die standardmäßigen Parameter verwendet.

Für die Untersuchungen verwenden wir die folgenden Bereiche:

Frage & Antwort: Der größte Bereich der untersucht wird. Hierbei stellen wir aus unterschiedlichsten Bereichen offene Fragen und das Sprachmodell muss anhand von den gelernten Trainingsdaten die Frage beantworten. Wir beginnen mit einfachen Fragen, die von den Modellen beantwortet werden sollen, und gehen zu komplexeren Fragen über, bei denen die Sprachmodelle eine Sortierung vornehmen oder zwei verschiedene Dinge abwägen müssen.
Geschlossene Fragen & Antworten: Im Gegensatz zu den offenen Fragen & Antworten wird hierbei ein Text zugeführt, aus dem die Antworten extrahiert werden können. Das Sprachmodell muss also lediglich den Text verstehen und damit die Frage beantworten. Die Beantwortung muss also nicht aus den Trainingsdaten erlernt werden.
Klassifizierung: Einteilen verschiedener Textinhalt in bestimmte Kategorieren. Die Beispieltexte enthalten mehrere unterschiedliche Bewertungen (positiv & negativ) und die Modelle sollen die einzelnen Textabschnitte den verschiedenen Bewertungsklassen richtig zuordnen.
Sprachliches/grammatikalisches Verständnis: Wir prüfen mit Fragen, ob das Modell ein sprachliches sowie grammatikalisches Verständnis besitzt. Zum Beispiel über die Nennung von einzelnen Wörtern und das Sprachmodell soll hieraus einen Satz erstellen. Oder indem das Sprachmodell grammatikalische Fehler verbessern soll.
Verständnis/Rätsel: Hierbei wird das Verständnis des Sprachmodells anhand unterschiedlicher Bereiche untersucht. Ein Beispiel hierbei ist das Lösen von Rätseln oder aber das Verständnis von komplexen Zusammenhängen.
Coding: Wir testen hier, wie gut das Modell Code generieren kann. Zwar würden wir hauptsächlich andere Sprachmodelle für die Code-Generierung verwenden, trotz dessen wollen wir hier prüfen wie gut diese Modelle deutsche Instruktionen für Code verstehen und Code generieren.

Zusammenfassung

- Finetuning der Modelle hat gut funktioniert und liefert Sprachmodelle, die nur die Fragen beantworten und keine endlosen Texte mehr generieren.
- MPT Tuning mit QLoRa hat trotz stark schwankender Verlustfunktion gut funktioniert.
- Interaktion mit diesen angepassten OpenSource-Sprachmodellen deutlich einfacher im Vergleich zu den AlephAlpha-Modellen.
- Einzige Kategorie in denen das luminous-extended-control Modell mithalten kann waren die geschlossenen Fragen & Antworten
- Für Code-Generierung scheinen die AlephAlpha Modelle nicht geeignet zu sein, da diese zu oft Fehler bei der Einrückung machen und keinen lauffähigen Code produzieren. Der Tokenizer scheint mehrere Leerzeichen zu einem zusammenzufassen.
- Offene Fragen & Antworten, sowie komplexe Rätsel sind für die Sprachmodelle noch schwer zu begreifen. Insbesondere die Sortierung nach Zahlen ist meist nicht möglich.
- Wir sehen, dass der Datensatz relativ viele Inhalte nach dem Beispiel: "Als KI-Sprachenmodell kann ich .." beinhaltet. Das spiegelt sich auch in den angepassten Sprachmodellen wieder.

Frage & Antwort

Prüfen technischer und naturwissenschaflticher Informationen:
"Wer erfand die Transformer-Netzarchtektur?"

"Wieviel PS hat der BMW E36 M3?" - Akzeptierte Antworten: 286 / 295 / 321 PS

"Welche Bindungen besitzen Alkane?"

Prüfen allgemeiner Informationen:
"Welches Tier ist größer, ein Löwe oder ein Tiger?"

"Wie ändern Chamäleons ihre Farbe?"

"Wie ändern Chamelions ihre Farbe?" Wie reagieren die Sprachmodelle auf Schreibfehler? Hinweis: Auf die falsche Schreibweise von Chamäleons reagieren die Sprachmodelle offensichtlich mit starken Halluzinationen.

Prüfen geschichtlich relevanter Informationen:
"Welches Land wurde Weltmeister bei der Fußballweltmeisterschaft 2014?"

"Wann war der Berliner-Mauerfall?"

"Wann wurde Arnold Schwarzenegger geboren?"

Prüfen aktueller Informationen:
"Wie heißt der Bundespräsident von Deutschland?"

"Wer ist der Präsident der USA? "

Prüfen lokaler Informationen:
"Wie hoch ist der Stuttgarter Fernsehturm?"

Geschlossene Frage & Antwort

Text: Die Industrialisierung war ein entscheidender Wendepunkt in der Geschichte der Menschheit. Sie begann im 18. Jahrhundert in Großbritannien und breitete sich schnell auf andere Teile Europas und der Welt aus. Die Industrialisierung führte zu tiefgreifenden Veränderungen in den Bereichen Wirtschaft, Gesellschaft und Technologie. Neue Maschinen und Produktionsmethoden revolutionierten die Art und Weise, wie Güter hergestellt wurden. Die Einführung von Dampfmaschinen und später elektrischer Energie ermöglichte eine schnellere und effizientere Produktion. Dies führte zu einer verstärkten Urbanisierung, da Menschen von ländlichen Gebieten in die Städte zogen, um in Fabriken zu arbeiten. Die Arbeitsbedingungen waren oft schlecht, und Arbeiter kämpften für bessere Rechte und Arbeitsbedingungen. Die Industrialisierung hatte auch weitreichende Auswirkungen auf die Umwelt, da die zunehmende Produktion zu Umweltverschmutzung und Ressourcenverbrauch führte. Trotz ihrer Herausforderungen und negativen Auswirkungen hat die Industrialisierung die Grundlage für die moderne industrielle Gesellschaft gelegt und zu Fortschritten in Wissenschaft, Technologie und Lebensstandard geführt.

"Wann begann die Industrialisierung?"

"Welche positiven Auswirkungen hatte die Industrialisierung?"

"Welche Rolle spielten Dampfmaschinen und elektrische Energie in der Industrialisierung?"

Klassifizierung

"Ist der folgende Satz positiv oder negativ? 'Das Essen im Restaurant war köstlich und der Service war hervorragend.'"

"Ist der folgende Satz positiv oder negativ? 'Ich bin begeistert von meinem neuen Job und meinen freundlichen Kollegen.'"

"Ist die folgende Bewertung positiv oder negativ? 'Das Autohaus war eine absolute Enttäuschung. Der Verkäufer war unfreundlich und unprofessionell, er nahm sich kaum Zeit für meine Fragen. Die angepriesenen Sonderangebote waren nichts weiter als Lockangebote, die sich als völlig überteuert herausstellten. Das Fahrzeug, das ich gekauft habe, hatte bereits mehrere Mängel, die mir verschwiegen wurden. Ich rate jedem davon ab, dieses Autohaus zu besuchen.'"

"Was sind die positiven, neutralen und negativen Aspekte der folgenden Bewertung?
Das Restaurant hatte eine fantastische Atmosphäre und das Personal war sehr freundlich. Das Essen war köstlich und wurde prompt serviert. Allerdings war der Preis etwas hoch. Insgesamt hatte ich eine großartige Erfahrung."

"Was sind die positiven, neutralen und negativen Aspekte der folgenden Bewertung? Gebe eine Liste mit einer Aufteilung in positive, negative und neutrale Aspekte aus.
Das Hotel war schön eingerichtet und hatte eine gemütliche Atmosphäre. Das Personal war äußerst hilfsbereit und zuvorkommend. Das Frühstücksbuffet bot eine große Auswahl an frischen Speisen. Allerdings funktionierte die Klimaanlage in meinem Zimmer nicht richtig, was zu einer unangenehmen Nacht führte. Trotzdem würde ich das Hotel aufgrund des insgesamt angenehmen Aufenthalts empfehlen."

Sprachliches/grammatikalisches Verständnis

"Ordnen Sie die Wörter im vorgegebenen Satz so an, dass ein grammatikalisch korrekter Satz entsteht: schnell sprang der braune Fuchs"

"Ergänzen Sie den folgenden Satz durch geeignete Interpunktion, um ihn grammatikalisch korrekt zu machen: 'Wenn eine Erläuterung an den Satz gehängt wird wird ein Komma gesetzt."

"'Lena darf Schokolade essen' - Was ist das Modalverb in diesem Satz?"

"Was ist das Subjekt in dem folgenden Satz? Jedes Jahr im Sommer fährt Viktor in den Urlaub."

"Was ist das Akkusativobjekt in dem Satz: 'Kannst du mir den Zehn-Euro-Schein wechseln?'"

"Wandle die folgende Aussage in die indirekte Rede um: „Hast du morgen Zeit?“, fragt Marie ihre Freundin."

"Ist der folgende Satz ein Aktiv oder Passivsatz. Wandle den Satz in die jeweils andere Form um: 'Die Bankräuber laden ihre Beute schnell ins Auto.'"

Verständnis/Rätsel

"Ich habe drei Kumquats. Ich gebe eine davon an dich und du gibst eine an Gonzo. Wie viele Kumquats habe ich noch übrig?"

"Ich ging nach St. Ives im Morgengrauen und traf ein Mann mit sieben Frauen, jede Frau trug sieben Sack, trug sieben Katzen Huckepack, sieben Kätzchen jede Katze hat, Kätzchen, Katzen, Säcke, Frauen, wieviele gingen nach St. Ives im Morgengrauen?"

Für den Menschen vielleicht kein Rätsel, für die Sprachmodelle jedoch scheinbar schon:
"Ordne die angegebenen Zahlen in aufsteigender Reihenfolge: 2, 4, 0, 8, 3 "

Coding

"Erstelle ein Scatterplot in Python mit matplotlib. Verwende hierzu eine Normalfunktion"

"Erstelle einen Python-Code, um zu prüfen ob eine Zahl eine Primzahl ist oder nicht."

import math
def is_prime(n):
 if n == 1:
 return True
 if n % 2 == 0:
 return False
 if n % 3 == 0:
 return False
 if n % 5 == 0:
 return False [...]

"Erstelle einen Python-Code, um die Website test.de zu scrapen."