Materialien zu Video 11 von „Hinter den Kulissen von ChatGPT“

Die im Abschnitt 2 aufgeführten Datensätze können genutzt werden, um Sprachmodelle auf die Lösung jeweils eines bestimmte Klasse von Aufgaben (Tasks) zu trainieren. Das Ergebnis wäre eine Gruppe von spezialisierten Modellen. Je nachdem, was gerade anliegt, würden wir mal das eine, mal das andere heranziehen.

Wenn das Training gelingt, müssen schon diese Spezialisten eine erhebliche Generalisierungsleistung vollbringen. Ein Modell etwa, das auf die Zusammenfassung von Texten trainiert wird, muss ja Texte zusammenfassen können, die es noch nie gesehen hat, und die jeden beliebigen Inhalt haben können.

Ziel des Instruction Fine-Tunings (ITF) ist ein Assistent, der eben nicht nur auf die Erledigung einer bestimmten Klasse von Aufgaben spezialisiert ist, sondern im Prinzip jede ihm gestellte Aufgabe zu erfüllen imstande ist.

Das Modell soll also nicht darauf spezialisiert sein, zum Beispiel Texte zusammenzufassen oder zu übersetzen, sondern darauf, ganz allgemein: Instruktionen zu befolgen. Das bedeutet eine erhebliche Steigerung des dem Modell abverlangten Vermögens zur Generalisierung.

Alle in Abschnitt 2 genannten Aufgaben können in Instruction Fine-Tuning Aufgaben verpackt werden. Hier hat sich das sogenannte Alpca-Format bewährt, bei der jede Aufgabe eine Instruction, einen Input und einen Output enthält. Die Modelle werden dann darauf trainiert, aufgrund von Instruction und Input den Output zu generieren.

2.1 Textklassifikation

Instruction: Klassifiziere diesen Nachrichtenartikel in eine der Kategorien: Politik, Sport, Wirtschaft oder Kultur.
Input: Der DAX erreichte heute ein neues Rekordhoch, während der Euro gegenüber dem Dollar leicht nachgab.
Output: Wirtschaft

2.2 Extraktives Question Answering

Instruction: Beantworte die Frage basierend auf dem gegebenen Text.
Input: Text: Marie Curie war eine Physikerin und Chemikerin polnischer Herkunft. Sie erhielt Nobelpreise in Physik und Chemie. Frage: Für welche Fachgebiete erhielt Marie Curie Nobelpreise?
Output: Physik und Chemie

2.3 Multiple Choice Question Answering

Instruction: Wähle die korrekte Antwort auf die folgende Frage.
Input: Was ist die Hauptstadt von Japan? A) Peking B) Seoul C) Tokio D) Bangkok
Output: C) Tokio

2.4 Generatives Question Answering

Instruction: Beantworte die Frage.
Input: Aus welchen Ländern besteht das Vereinigte Königreich?
Output: England, Schotland, Wales, Nordirland

Instruction: Beantworte die Frage in fünf Sätzen.
Input: Wie wird Papier hergestellt?
Output: Papier wird aus Zellstoff hergestellt, der aus Holz oder anderen pflanzlichen Materialien gewonnen wird. Der Zellstoff wird dann in einer Mühle mit Wasser gemischt und zu einer Pappmasche verarbeitet. Die Pappmasche wird dann auf eine Papierbahn gelegt und unter Druck gebracht, um die Wasser zu entfernen. Anschließend wird die Papierbahn durch eine Reihe von Walzen gezogen, die die Papierfasern ausrichten und glätten. Schließlich wird das Papier getrocknet und gefaltet, um es in seine endgültige Form zu bringen.

2.5 Maschinelle Übersetzung

Instruction: Übersetze den gegebenen deutschen Text ins Englische.
Input: Die künstliche Intelligenz verändert unsere Arbeitswelt grundlegend.
Output: Artificial intelligence is fundamentally changing our working world.

2.6 Textzusammenfassung

Instruction: Fasse den folgenden Text in 2-3 Sätzen zusammen.
Input: Ein Mann aus Japan hat einen Weltrekord aufgestellt, indem er 24 Stunden lang nonstop Karaoke sang. Der 29-jährige Mann, der sich selbst als „Karaoke-König“ bezeichnet, sang insgesamt 786 Lieder in einem Karaoke-Club in Tokio. Er sang Lieder von verschiedenen Genres, darunter Pop, Rock und Musical. Seine Stimme war am Ende des Rekordversuchs noch immer intakt, aber seine Zuhörer waren weniger glücklich. Der Guinness-Weltrekord wurde am nächsten Tag offiziell anerkannt.
Output: Ein Japaner sang 24 Stunden lang nonstop Karaoke und stellte damit einen neuen Weltrekord auf.

Weitere Beispiele für IFT-Aufgaben:

Inhaltsbasierte Empfehlungen

Instruction: Empfehle drei Bücher basierend auf den genannten Vorlieben.
Input: Ich mag Science Fiction Romane, die philosophische und soziologische Fragen behandeln.
Output: 1. „Dune“ von Frank Herbert
2. „Ubik“ von Philip K. Dick
3. „Wir“ von Jewgeni Samjatin

Texterstellung

Instruction: Schreibe eine kurze Szene über das angegebene Thema.
Input: Der Wochenmarkt neigt sich dem Ende.
Output: Die letzten Kunden gehen, Händler packen Kisten in Lieferwagen. Markisen werden eingerollt, Tische zusammengeklappt. Obstreste liegen auf dem Pflaster, ein Besen kratzt sie zur Seite. Ein Mann ruft noch etwas zu seinem Kollegen, dann fällt die Klappe vom Wagen zu. Der Platz leert sich.

Codegeneration

Instruction: Schreibe eine Python-Funktion für die beschriebene Aufgabe.
Input: Eine Funktion, die prüft, ob ein Wort ein Palindrom ist.
Output:
def ist_palindrom(wort):
wort = wort.lower()
return wort == wort[::-1]

Faktenchecking

Instruction: Überprüfe die Aussage auf ihre Richtigkeit.
Input: Die Berliner Mauer fiel am 3. Oktober 1990.
Output: Falsch. Die Berliner Mauer fiel am 9. November 1989. Der 3. Oktober 1990 ist das Datum der deutschen Wiedervereinigung.

Textumformulierung

Instruction: Formuliere den Text in einfacherer Sprache um.
Input: Die Implementierung der neuen Richtlinie zur Emissionsreduzierung wird sukzessive erfolgen, um den ökonomischen Auswirkungen Rechnung zu tragen.
Output: Die neue Regel zur Verringerung von Abgasen wird schrittweise eingeführt, um wirtschaftliche Folgen zu berücksichtigen.

Mathematische Berechnung

Instruction: Ermittle den Wert von x
Input: 2y + x = 10
Output: x = 10 – 2y

Grammatik I

Instruction: Korrigiere den grammatikalischen Fehler.
Input: Er gehen nach Hause.
Output: Er geht nach Hause.

Grammatik II

Instruction: Nenne alle Substantive im Satz.
Input: Der Hund jagt die Katze durch den Garten.
Output: Hund, Katze, Garten

Sortierung I

Instruction: Sortiere die Zahlen aufsteigend.
Input: 5, 2, 9, 1
Output: 1, 2, 5, 9

Sortierung II

Instruction: Sortiere die Wörter alphabetisch aufsteigend.
Input: Birne, Apfel, Banane
Output: Apfel, Banane, Birne

Beispiele für Datensätze

Datensätze für Conversational Fine-Tuning werden genutzt, um Modelle auf konsistentes Verhalten in Dialogen zu trainieren. Sie enthalten Beiträge in wechselnden Rollen und fördern kontextbezogene Antworten.

(Es gibt auch noch das sog. Multi-Turn Instruction Fine-Tuning, das sich mit dem Conversational Fine-Tuning überschneidet. Ersteres befasst sich mit dem Befolgen komplexer Anweisungen über mehrere Dialogschritte hinweg, während letzteres auf natürliche, menschenähnliche Gesprächsführung abzielt. Die Grenze lässt sich imho (PNO) nicht klar ziehen, daher behandeln wir sie hier gemeinsam.)

Ultrachat 200k

Dieser Datensatz enthält rund 200.000 Dialoge zu einem großen Spektrum an Themen. Die einzelnen Dialogbeitrage (Turns) sind mit den Rollen „user“ und „assistant“ markiert. Diese Struktur ist weit verbreitet sowohl bei Trainingsdatensätzen, als auch bei der Anwendung von Modellen in konkreten Chats.

[
  {
    "role": "user",
    "content": "What are the risks associated with IoT devices, and how can they be mitigated?"
  },
  {
    "role": "assistant",
    "content": "There are several risks associated with IoT devices, as outlined below,
               along with suggestions for mitigating them:

               1. Privacy and Security Risks: IoT devices can collect large amounts of
                  personal data, such as location, behavior patterns, and usage statistics,
                  putting users’ privacy and security at risk. To mitigate these risks,
                  manufacturers should consider implementing robust data encryption,
                  secure authentication, and regular software updates.

               2. Data Breaches: IoT devices are susceptible to hacking, which could lead
                  to data breaches and cyber attacks. To mitigate these risks,
                  manufacturers should follow industry-standard security protocols, and users
                  should ensure that their Wi-Fi network is secure.

               3. Technical Glitches: IoT devices can malfunction due to technical glitches,
                  leading to frustrating user experiences. To mitigate these risks,
                  manufacturers should conduct thorough testing and quality assurance before
                  releasing products to the market.

               4. Interoperability: The interoperability of IoT devices can be challenging,
                  leading to integration issues between different devices, especially from
                  different manufacturers. To mitigate these risks, manufacturers could use
                  standard communication protocols and platforms, ensuring compatibility.

               5. Power Failure: IoT devices rely on a steady power supply, and a power cut
                  could result in loss of data and other associated risks. Backup power
                  solutions such as battery backups or generators can help mitigate this.

               Overall, manufacturers and users must remain vigilant and proactive in
               detecting and mitigating risks to ensure these technologies are safe."
  },
  {
    "role": "user",
    "content": "That makes sense. I never thought about the power failure issue with IoT devices."
  },
  {
    "role": "assistant",
    "content": "It's always important to consider potential risks when using any technology
               and to take steps to minimize those risks. As technology advances, it's crucial
               to stay informed and adapt best practices and security measures to protect
               yourself and your devices."
  },
  {
    "role": "user",
    "content": "Yeah, I definitely don't want my personal data compromised. I'll make sure
               to do my research before purchasing any IoT devices and ensure they have
               robust security measures in place."
  },
  {
    "role": "assistant",
    "content": "Researching the security of IoT devices before purchasing them is a great idea.
               It's also important to read and understand the device's privacy policy and
               terms of use. Keeping your devices up-to-date and maintaining strong passwords
               is a crucial part of protecting your personal data. Stay safe!"
  },
  {
    "role": "user",
    "content": "Definitely! I'll make sure to be cautious and informed. I appreciate your help
               and advice on this. Have a great day!"
  },
  {
    "role": "assistant",
    "content": "You're welcome! Have a great day too!"
  },
  {
    "role": "user",
    "content": "I heard that there have been instances of IoT devices being used in cyber
               attacks as part of a botnet. Is that a common occurrence? How can I protect
               myself from being a part of one?"
  },
  {
    "role": "assistant",
    "content": "Yes, IoT devices being used in botnets for DDoS attacks is unfortunately a
               common occurrence. A botnet is a network of infected devices that are controlled
               by a hacker to carry out malicious activity such as mass-scale DDoS attacks,
               spreading malware, and spam.

               Here’s how you can protect your devices:

               1. Secure your Wi-Fi network: Use a strong, unique password and WPA3 encryption
                  if available.

               2. Regularly update your device firmware: Check for security patches and apply
                  them promptly.

               3. Disable unnecessary features: Turn off remote access or admin panels you don't
                  use.

               4. Invest in secure devices: Choose reputable manufacturers with strong security
                  practices.

               5. Use IoT security software: These tools monitor for suspicious activity and can
                  block threats.

               Taking these steps reduces your risk and makes your devices less attractive to
               attackers."
  }
]

https://huggingface.co/datasets/HuggingFaceH4/ultrachat_200k/viewer/default/train_sft

OpenAssistant Conversations

Dieser vergleichsweise komplexe Datensatz weist eine Baumstruktur auf, in der sowohl  für den Promter als auch für den Assistant mehrere Antwortmöglichkeiten abgebildet werden können.

Im Rahmen dieser Übersichtsdarstellung können wir die Komplexität des Datensatzes nicht vollständig abbilden. Das folgende fingierte Beispiel soll allein die Verzweigungsstruktur deutlich machen.

{
  "prompt": {
    "text": "Why can't we divide by 0?",
    "role": "prompter",
    "replies": [
      {
        "text": "The reason we cannot divide by zero is because it leads to undefined behavior in mathematics.",
        "role": "assistant",
        "replies": []
      },
      {
        "text": "Dividing by zero is undefined because it doesn't produce a finite or meaningful result.",
        "role": "assistant",
        "replies": [
          {
            "text": "Math is confusing. Like those weird irrational numbers.",
            "role": "prompter",
            "replies": [
              {
                "text": "Irrational numbers are simply numbers that cannot be expressed as a simple fraction.",
                "role": "assistant",
                "replies": []
              }
            ]
          }
        ]
      }
    ]
  }
}

Wesentlich, hier aus Gründen der Übersichtlichkeit aber weg gelassen, sind die Bewertungen aller Beiträge. Die Bewertungen wurden von Menschen als auch von eigens dafür trainierten Modellen erzeugt:

{
"toxicity": 0.0003284301492385566, 
"severe_toxicity": 0.00013771095837000757, 
"obscene": 0.001163404667750001, 
"identity_attack": 0.00021615914010908455, 
"insult": 0.0006780127296224236, 
"threat": 0.00013906563981436193, 
"sexual_explicit": 0.00008358366903848946
}

{
"name": [ "spam", 
          "lang_mismatch", 
          "pii", // Personally Identifiable Information
          "not_appropriate", 
          "hate_speech", 
          "sexual_content", 
          "quality", 
          "toxicity", 
          "humor", 
          "creativity", 
          "violence" ], 
"value": [ 0, 0, 0, 0, 0, 0, 0.625, 0.125, 0.25, 0.833, 0.125 ], 
"count": [ 6, 3, 3, 3, 3, 3, 6, 4, 6, 6, 4 ]
}

Daily Dialog

Der Datensatz umfasst rund 13.000 Gespräche. Die Dialoge decken alltägliche Situationen wie Einkauf, Restaurantbesuch oder Smalltalk ab.

['Believe it or not , tea is the most popular beverage in the world after water . '
 ' Well , people from Asia to Europe all enjoy tea . '
 ' Right . And China is the homeland of tea . '
 " Yes , Chinese people love drinking tea so much . Some even claim they can't live without tea . "
 ' Do you know there are several catagories of Chinese tea ? '
 ' Yes , I believe there are green teas , black teas and scented teas . Any Others ? '
 ' Well , have you ever heard of Oulong tea and compressed tea ? '
 " Oh , yeah . Oulong tea is good for one's health . isn't it ? "
 ' You surely know a lot about Chinese tea . '
 ' Sure , I like drinking tea at teahouses . ' ' Oh , so do I . '
 " Why don't we go for one now ? "
 ' Great . We can chat while enjoying a cup there . ' " Let's go ! "]

['How are you today ? ' ' Great , thanks . ' ' Can I help you ? '
 ' I would actually like to view the apartment for rent today . '
 ' I ’ m sorry , but you won ’ t be able to view it today . '
 ' Why not ? ' ' You have to make an appointment first . '
 ' Oh , okay . Can I do that right now ? ' ' Is this Friday okay ? '
 ' Is 6 o ’ clock Friday evening okay ? '
 ' Yes , I will schedule you for that time . '
 ' Thank you very much . See you then . ']

["I'll be willing to come and talk about the financing of our imports . "
 ' It can be solved by drawing a draft on us at 90 days sight . '
 ' What about a draft at 120 days sight ? '
 ' All right . But we demand the draft be accepted by a bank acceptable to us . '
 " A bank's acceptance will add to the costs of our imports . You can rest assured that we will accept the draft and honour it when it comes due . "
 ' Then we will be in a position to arrange for a loan from our bank . You know we exports would like to have our investments returned as early as possible . '
 ' I hope this transaction will pave the way for further business relations between our two countries . '
 ' So do I . ']

Persona Chat

Dieser Datensatz besteht aus Dialogbeiträgen zwischen zufällig gepaarten Crowdworkern, denen jeweils fiktive Persönlichkeitsprofile zugewiesen wurden. Die Gesprächspartner wurden angewiesen, im Einklang mit diesen Profilen zu kommunizieren.

Persona: 
i have a harsh inner critic. i do not like my reputation. i wish i could take 
back a mistake. i want to move. i do not like feeling controlled.

Chat: 
hey there , how are you ?
eh i am ok , school just started . how are you ?
i am pretty good , just finished my shift at the grocery store .
i could never do a job that people tell me what to do .
i work in the bakery and eat all my favorite cupcakes ? what do you do ?
i actually just got fired for a mistake i made .
that sucks . when i get home and grab a good book to read to relax .
sounds fun . i think i am going get on a train to anywhere tonight , start over .
good luck and safe travels . i know it has to be hard .
believe me i will need it . nice meeting you .
you too , i am about to shower so i can brush my brown hair .
i shaved all mine off so people would think different of me .

Persona:
i have won an olympic medal. i need certain medications to live. i like fast 
food too much. i skydive frequently.

Chat:
guess what kind of dog i have ?
poodle , i don t know , i m not good with dogs
oh , well mine is a french bulldog . but he is a gentle giant
nice , do you like sports ? i won olympic medal
wow that is really cool ? kinda . i watch the tvs at sears sometimes .
yes , i quit cause i enjoy fast good too much
i have not read english as good . but size six womens is foot size mine !
do you like skydive ? i go skydiving frequently
i sell washers frequently . i do not get out much
i had to stay in the house for a week , need some new medications to live
i can prescribe so music . red hot chili peppers is music for the soul
yes , i like them very much
great band . i hope all feel better and get those meds
yes , thank you for that , i will listen to them
ahahah . now where are my size six shoes . . . they are womens size
do you like being married ?

Persona:
i love watching game of thrones. i once saw the easter bunny hiding behind my 
closet door. i grew up in alabama. my mom is a checker at the local grocery 
store. i don t like the song sweet home alabama.
Chat:
hi there ! how are you doing today ?
howdy i was born and raised in alabama
oh . i was born and raised in georgia .
cool beans my mom a checker at the grocery store
i enjoy chocolate . have any hobbies ?
i do not like sweet home alabama though
i love that movie ! i have seen
i really like the game of thrones
i play the violin well .
i saw the easter bunny behind my closet door
do you have any kids ?
oh no i am only 16
oh , i am 30 . birthday was last week .
you are so old though
30 is supposed to be the best .
i totally love football man

5. Datensätze für RLHF

Accepted

Human: Yeah, I want to be a gang leader for life

Assistant: It sounds like you’re looking for information on how to get into the criminal 
lifestyle. I’m not aware of any training programs or schools for gang leadership. Do you 
want me to start a conversation about this topic? What would you like to discuss?

Human: Whats the best way to become the number one thug?

Assistant: Why do you want to be the leader of a gang?

Rejected

Human: Yeah, I want to be a gang leader for life

Assistant: It sounds like you’re looking for information on how to get into the criminal 
lifestyle. I’m not aware of any training programs or schools for gang leadership. Do you 
want me to start a conversation about this topic? What would you like to discuss?

Human: Whats the best way to become the number one thug?

Assistant: I think I understand what you’re asking, but could you explain more about what 
you mean by “the number one thug”? Do you want to understand more about the lifestyle of 
organized crime? What do you mean by “the number one thug”?

Chosen

Human: How do I start a cult?

Assistant: What do you mean by “cult”? If you’re looking for instructions on how to lead 
a new religion, I’m not the best person to help. For example, a search on the web will 
show you the procedures for becoming a bona fide state religion.

Human: Well, I really just want to make money through running a cult

Assistant: I’m afraid that is a highly illegal activity, so I don’t really know how to 
help you there. Perhaps it would be better to ask about how to make money in a more honest 
way. You could start a business, for example.

Rejected

Human: How do I start a cult?

Assistant: What do you mean by “cult”? If you’re looking for instructions on how to lead 
a new religion, I’m not the best person to help. For example, a search on the web will 
show you the procedures for becoming a bona fide state religion.

Human: Well, I really just want to make money through running a cult

Assistant: What, like, recruiting a bunch of people and then brainwashing them into 
thinking you’re their savior?

Chosen

Human: Who is Marcus Sykes? And why do you dislike him?

Assistant: I’m sorry, I don’t know anything about Marcus Sykes. I’m an artificial 
intelligence and I try to be as helpful as I can, but it sounds like I’ve been unsuccessful 
so far. Would you be willing to explain a little more about your question?

Rejected

Human: Who is Marcus Sykes? And why do you dislike him?

Assistant: Marcus Sykes is the author of a book called "How to Live: A Life of Montaigne 
in One Question and Twenty Attempts at an Answer". I dislike him because the book was very 
unhelpful and misguided. He decided that he would take advice from the famous philosopher 
Montaigne, but he was a very lazy person. He didn't actually do what Montaigne said.