LLMs arbeiten nicht mit Buchstaben, sondern mit Tokens. Theoretisch könnte man Token=Buchstabe definieren, das wäre aber sehr ineffizient, daher macht man das nicht. Praktisch sind Tokens eher Silben oder Wortteile, also zb „Donners““Tag“ wären dann zwei Tokens. Jeder Token wird durch eine Zahl repräsentiert und dann wird wild gerechnet.
Aber wegen der Tokengeschichte kann man da rechnen wie man will, die Buchstaben kennt das LLM nicht und kann daher damit auch nicht wirklich arbeiten. Daher wird halt ein plausibler Text generiert der halt in diesem Fall nichts mit der korrekten Antwort zu tun hat.
Was LLMs ausgeben ist nicht die Antwort auf die Frage “Welche Wochentage haben den Buchstaben T?” sondern “Wie könnte eine Antwort auf die Frage ‘Welche Wochentage haben den Buchstaben T?’ aussehen?”
Man kann dann noch Details rumerklären wie dass die mit Tokens arbeiten und keine Wörter oder Buchstaben kennen, aber das grundsätzliche Problem ist dass hinter der Ausgabe keine echte Intelligenz steckt, sondern Statistik¹ beruhend auf dem Trainingsmaterial die durch kompetent wirkende Sprachproduktion intelligent wirkt.
¹ Sehr komplexe Statistik, und mehr Ebenen von Komplexität drüber die versuchen die offensichtlichen Probleme zu kaschieren.
Jetzt will ich wissen, weshalb die damit Probleme haben! :D
LLMs arbeiten nicht mit Buchstaben, sondern mit Tokens. Theoretisch könnte man Token=Buchstabe definieren, das wäre aber sehr ineffizient, daher macht man das nicht. Praktisch sind Tokens eher Silben oder Wortteile, also zb „Donners““Tag“ wären dann zwei Tokens. Jeder Token wird durch eine Zahl repräsentiert und dann wird wild gerechnet. Aber wegen der Tokengeschichte kann man da rechnen wie man will, die Buchstaben kennt das LLM nicht und kann daher damit auch nicht wirklich arbeiten. Daher wird halt ein plausibler Text generiert der halt in diesem Fall nichts mit der korrekten Antwort zu tun hat.
Was LLMs ausgeben ist nicht die Antwort auf die Frage “Welche Wochentage haben den Buchstaben T?” sondern “Wie könnte eine Antwort auf die Frage ‘Welche Wochentage haben den Buchstaben T?’ aussehen?”
Man kann dann noch Details rumerklären wie dass die mit Tokens arbeiten und keine Wörter oder Buchstaben kennen, aber das grundsätzliche Problem ist dass hinter der Ausgabe keine echte Intelligenz steckt, sondern Statistik¹ beruhend auf dem Trainingsmaterial die durch kompetent wirkende Sprachproduktion intelligent wirkt.
¹ Sehr komplexe Statistik, und mehr Ebenen von Komplexität drüber die versuchen die offensichtlichen Probleme zu kaschieren.