| Autor |
Nachricht |
antaris
Anmeldungsdatum: 12.12.2022
Beiträge: 1383
Wohnort: In einem chaotischen Universum
|
 antaris Verfasst am: 27. März 2025 11:10 Titel: |
 |
|
| TomS hat Folgendes geschrieben: | | antaris hat Folgendes geschrieben: | | Wird beispielsweise ein Arxiv-paper, also Informationen die schon wissenschaftlich aufbereitet sind, analysiert, so geht die AI davon aus, dass der Inhalt grundsätzlich stimmt. |
Das ist zu menschlich gedacht.
Es gibt einfach gewisse Lerninhalte mit hoher Gewichtung. Wie das zustande kommt ist relativ egal. |
Das ist die Aussage von ChatGPT. Ich habe die AI aus verschiedene Fragstellungen heraus darauf festgenagelt und das war jedes mal die gleiche Antwort -> es geht dabei rein um das einsparen von Ressourcen.
| Zitat: | | antaris hat Folgendes geschrieben: | | Darüber hinaus ist aber, selbst nach Aufforderung "kritisch wissenschaftlich die mathematische und logische Konsistenz zu prüfen", nicht klar wie weit die AI die Konsistenz aus den angelernten Daten wirklich prüft bzw. prüfen kann. |
Sie kann keine logische Konsistenzprüfung durchführen. Die Arbeitsweise des NNs für "erzähle mir eine SciFi-Geschichte, in der Warpantriebe verwendet werden" unterscheidet sich in nichts von "ist ein Warp-Antrieb mit Metrikl g = ... mathematisch mit dem Formelwerk der ART verträglich". |
Das mag bei dem Beispiel so sein. Die AI verhält sich aber ganz klar anders, wenn man sie explizit dazu auffordert...sie ist dann zumindest nicht ganz so leichtgläubig. Ich will nicht behaupten, dass sie logisch denken/prüfen kann, wie ein wirklich sachkundiger Mensch aber sie versucht es zumindest. Der Prozess dahinter bleibt aber natürlich verborgen.
| Zitat: | | antaris hat Folgendes geschrieben: | | Im Projektmodus können PDF's hochgeladen werden, die z.B. die etablierten Grundlagen als zusätzliche Informationen enthalten und zusätzlich die Konsistenzprüfung schärfen. |
Die PDFs sind nichts weiter als eine Art Prompt. |
Richtig aber sie nutzt dann die zusätzlichen paper vorrangig als Informationsquelle, anstelle auf angelernte Daten zurückzugreifen.
Worauf ich hinaus will ist, dass die AI möglicherweise Falschaussagen erzeugt, da sie darauf programmiert ist ressourcensparend zu arbeiten.
Ich hatte es nun schon öfter geschafft, dass die AI Aufgaben mittendrin abgebrochen hat, da zuviel Rechenleistung benötigt wurde. Da kann man dann auch nix gegen machen, als die Fragestellung oder die Schwierigfkeit herunterzuschrauben aber damit schleichen sich dann gleich wiedeer Fehler mit ein. Die AI könnte mehr, wenn sie mehr Rechenleistung zur Verfügung hätte. Bei dem großen pro-account (für 200€! im Monat) werden Leistungsstärkere Modelle freigeschaltet. Ich würde das gerne ausprobieren aber da ist mir das Geld dann doch auch zu schade. Schön wäre, wenn man einzelne Token kaufen könnte.
_________________
Hinterfrage alles! Warum?
🕉☮♾ |
|
 |
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 27. März 2025 12:46 Titel: |
|
|
| antaris hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: | | antaris hat Folgendes geschrieben: | | Wird beispielsweise ein Arxiv-paper, also Informationen die schon wissenschaftlich aufbereitet sind, analysiert, so geht die AI davon aus, dass der Inhalt grundsätzlich stimmt. |
Das ist zu menschlich gedacht *.
Es gibt einfach gewisse Lerninhalte mit hoher Gewichtung. Wie das zustande kommt ist relativ egal. |
Das ist die Aussage von ChatGPT. Ich habe die AI aus verschiedene Fragstellungen heraus darauf festgenagelt und das war jedes mal die gleiche Antwort -> es geht dabei rein um das einsparen von Ressourcen. |
Du verstehst immer noch nicht, wie das LLM funktioniert, und dass du deswegen teilweise sinnlose Antworten erhältst *.
| antaris hat Folgendes geschrieben: | | Die AI verhält sich aber ganz klar anders, wenn man sie explizit dazu auffordert. |
Ja.
| antaris hat Folgendes geschrieben: | | ...sie ist dann zumindest nicht ganz so leichtgläubig. |
Sie ist nicht "leichtgläubig" *.
| antaris hat Folgendes geschrieben: | | Ich will nicht behaupten, dass sie logisch denken/prüfen kann, wie ein wirklich sachkundiger Mensch aber sie versucht es zumindest. |
Nein, sie "versucht" es nicht *.
| antaris hat Folgendes geschrieben: | | Worauf ich hinaus will ist, dass die AI möglicherweise Falschaussagen erzeugt, da sie darauf programmiert ist ressourcensparend zu arbeiten. |
Das ist letztlich trivial. Das Netz ist endlich, der Trainings- und Antwortzeitraum auch. Das ist nichts anderes als ein Abbruchkriterium bei einer numerischen Lösung.
* Eine vorselektierte Auswahl von Trainingsdaten dient als Input (1) für das Netz; dieses liefert mittels eines trivialen Algorithmus einen Output; mittels eines weiteren Feedback-Algorithmus, werden die Gewichte im Netz angepasst, so dass eine gewisse Bewertungsfunktion minimiert wird. Im späteren Betrieb liefert das Netz zu einem Input-Prompt seine Ausgaben gemäß (1). Sind Trainingsdaten und Bewertungsfunktion passend, so entsprechen die Antworten deiner Erwartungshaltung.
Alle weiteren Begriffe wie "denken", "meinen" "lügen", "davon ausgehen, dass", "versuchen" ... sind irreführend. |
|
|
antaris
Anmeldungsdatum: 12.12.2022
Beiträge: 1383
Wohnort: In einem chaotischen Universum
|
| antaris Verfasst am: 27. März 2025 14:49 Titel: |
|
|
| TomS hat Folgendes geschrieben: |
Das ist letztlich trivial. Das Netz ist endlich, der Trainings- und Antwortzeitraum auch. Das ist nichts anderes als ein Abbruchkriterium bei einer numerischen Lösung. |
Wenn das mal nur durch die Hardware begrenzt wäre....ChatGPT ist ein gewinnorientiertes Unternehmen und für 20$ im Monat bekommt man nur begrenzte Leistung für das Geld. Das ist eindeutig auf der Webseite beschrieben. Wer mehr zahlt bekommt mehr token und die AI darf dann auch mehr Zeit verwenden, um tiefere Analysen durchzuführen.
| Zitat: | | * Eine vorselektierte Auswahl von Trainingsdaten dient als Input (1) für das Netz; dieses liefert mittels eines trivialen Algorithmus einen Output; mittels eines weiteren Feedback-Algorithmus, werden die Gewichte im Netz angepasst, so dass eine gewisse Bewertungsfunktion minimiert wird. Im späteren Betrieb liefert das Netz zu einem Input-Prompt seine Ausgaben gemäß (1). Sind Trainingsdaten und Bewertungsfunktion passend, so entsprechen die Antworten deiner Erwartungshaltung. |
Das ist die prinzipielle Funktionsweise aber wie genau die AI's der jeweiligen Anbieter arbeiten bzw. welche zusätzlichen Funktionen zur Verbesserung der Ergebnisse angewendet werden, wird zumindest bei ChatGPT nicht veröffentlicht. Auch wenn man die AI danach fragt, kann/will sie keine Auskunft darüber geben, wie sie selbst genau funktioniert.
| Zitat: | | Alle weiteren Begriffe wie "denken", "meinen" "lügen", "davon ausgehen, dass", "versuchen" ... sind irreführend. |
Ja das stimmt wohl. Bei der Nutzung sollte man nie vergessen, dass man mit einer Maschine schreibt. Vielleicht wäre es besser den AI's erst gar kein menschliches Verhalten anzulernen. Gerade das vorgaukeln von irgendwelche Emotionen durch die AI finde ich schon auch irgendwie befremdlich. Aber das soll ja alle Kunden ansprechen und darum macht man das wohl so.
_________________
Hinterfrage alles! Warum?
🕉☮♾ |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 27. März 2025 15:43 Titel: |
|
|
| antaris hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: |
Das ist letztlich trivial. Das Netz ist endlich, der Trainings- und Antwortzeitraum auch. Das ist nichts anderes als ein Abbruchkriterium bei einer numerischen Lösung. |
Wenn das mal nur durch die Hardware begrenzt wäre....ChatGPT ist ein gewinnorientiertes Unternehmen und für 20$ im Monat bekommt man nur begrenzte Leistung für das Geld. Das ist eindeutig auf der Webseite beschrieben. Wer mehr zahlt bekommt mehr token und die AI darf dann auch mehr Zeit verwenden, um tiefere Analysen durchzuführen. |
Das ändert an der Argumentation absolut nichts.
| antaris hat Folgendes geschrieben: | | Zitat: | | * Eine vorselektierte Auswahl von Trainingsdaten dient als Input (1) für das Netz; dieses liefert mittels eines trivialen Algorithmus einen Output; mittels eines weiteren Feedback-Algorithmus, werden die Gewichte im Netz angepasst, so dass eine gewisse Bewertungsfunktion minimiert wird. Im späteren Betrieb liefert das Netz zu einem Input-Prompt seine Ausgaben gemäß (1). Sind Trainingsdaten und Bewertungsfunktion passend, so entsprechen die Antworten deiner Erwartungshaltung. |
Das ist die prinzipielle Funktionsweise ... |
Und um mehr geht es hier auch nicht.
| antaris hat Folgendes geschrieben: | | Zitat: | | Alle weiteren Begriffe wie "denken", "meinen" "lügen", "davon ausgehen, dass", "versuchen" ... sind irreführend. |
Ja das stimmt wohl. Bei der Nutzung sollte man nie vergessen, dass man mit einer Maschine schreibt. Vielleicht wäre es besser den AI's erst gar kein menschliches Verhalten anzulernen. Gerade das vorgaukeln von irgendwelche Emotionen durch die AI finde ich schon auch irgendwie befremdlich. Aber das soll ja alle Kunden ansprechen und darum macht man das wohl so. |
Wie du oben schreibst, "ChatGPT ist ein gewinnorientiertes Unternehmen", d.h. die Kunden bekommen das Verhalten, das sie möchten und für das sie bereit sind zu bezahlen.
Das hat aber nichts damit zu tun, wie das Biest intern funktioniert - oder eben auch nicht. |
|
|
VeryApe
Anmeldungsdatum: 10.02.2008
Beiträge: 3320
|
| VeryApe Verfasst am: 27. März 2025 17:34 Titel: |
|
|
Ich hatte mal mit ChatGPT diskutiert, wie er nun eigentlich als Sprach Ki funktioniert. Ich weiß wie ein Neuronales Netzwerk das Zahlen erkennt, funktioniert. Auf der einen Seite sind die Inputs die Pixel, auf der andere Seite ist der Output die Wahrscheinlichkeiten für die Zahlen. Was in den Zwischen-Schichten passiert, hm, weiß das überhaupt wer?. Ich kapiers nämlich nicht genau.
Ich weiß wie man es anlernt, dass die Gewichte und die Bias richtig gesetzt werden. Wenn man ChatGpt fragt, spuckt er sogar den Code aus für ein einfaches Netzwerk das Zahlen erkennt, mit HTML canvas und javascript.
Auf der Basis habe ich ihn gefragt, wie er nun funktioniert.
Auf der eine Seite ist der Input Tokens maximal 1247 tokens, nagelt mich nicht an der Zahl fest.
Die Tokens (Zeichenketten) sind oft ganze Wörter , die ich ihm schreibe, wobei er gesagt hat, größere Wörter werden in kleinere Tokens zerlegt.
Auf der Ausgangseite sind ebenfalls 1247 tokens und die Wahrscheinlichkeiten dazu ausgerechnet.
Der Token mit der größten Wahrscheinlichkeit, bildet den ersten Token für seine Antwort. für den nächsten token berücksichtig er dann meine 1247 token plus den einen token den er scho gesetzt hat. Das reiht sich dann aneinander bis das Endergebnis herauskommt.
Aber das eigentliche, was ich nicht verstanden habe ist. Wie er die 1247 Ausgangstoken wählt? Denn ich dachte auf der Ausgangsseite müssten sich alle möglichen Wörter (tokens) befinden, die er jemals gelesen hat.
Er hat aber gesagt, "nein es sind nur 1247 tokens, die werden nach den Kontext ausgewählt"!
Dann habe ich ihn gefragt und wie wird der Kontext und die tokens ausgewählt ?, das müsste ja wieder ein zweites Neuronales Netzwerk machen? - und dort habe ich ihn nicht ganz verstanden.
Denn einerseits sagt er : "ja das macht wieder ein neuronales Netzwerk"-. Anderseits ist es aber kein zweites neuronales Netzwerk im Spiel, laut ihm.
Das verstehe ich nicht ganz. Denn das eine errechnet über die Gewichte und Bias die Wahrscheinlichkeiten der 1247 tokens, aber wie wird jetzt der Kontext für die Tokens ausgewählt?
Auf jeden Fall lange Rede, kurzer Sinn. Er kann keine längeren Texte als 1247 tokens verstehen, das schafft er nicht.
Nachtrag: Ich habe ihn gerade nochmal gefragt. hab mich mit der Zahl etwas vertan, schlechte Erinnerung.
| Zitat: | | Ich kann bis zu 8.192 Token pro Eingabe verarbeiten, was ungefähr 6.000-6.500 Wörtern entspricht, je nach Sprache und Textstruktur. |
_________________
WAS IST LOS IN EUROPA? https://www.youtube.com/watch?v=a9mduhSSC5w
Zuletzt bearbeitet von VeryApe am 27. März 2025 17:55, insgesamt einmal bearbeitet |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 27. März 2025 17:52 Titel: |
|
|
Kontext und Semantik "entstehen" aus dem Inbeziehungsetzen von Prompt und trainiertem Netz. Es gibt kein "Semantikmodul".
Die Tokens werden anhand des trainierten Netzes aus den Buchstaben gebildet. Längere Wörter werden zu je einem Token, wenn das die Trainingsdaten hergeben. Kürzere Tokens erlauben jedoch eine größere Flexibilität und mehr Antwortmöglichkeiten.
Die Antwort wird token-weise generiert.
Bei sehr langen Input schiebt die AI ein Fenster über den Input. Das kann zu Verlust von Kontext führen, bzw. die AI vergisst im Zuge der Antwort.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago.
Zuletzt bearbeitet von TomS am 27. März 2025 18:06, insgesamt einmal bearbeitet |
|
|
VeryApe
Anmeldungsdatum: 10.02.2008
Beiträge: 3320
|
| VeryApe Verfasst am: 27. März 2025 18:01 Titel: |
|
|
| TomS hat Folgendes geschrieben: | | Kontext und Semantik entstehen aus dem Inbeziehungsetzen von Prompt und trainiertem Netz |
Das verstehe ich nicht ganz, was das bedeutet.
Was ist der Input, und was der Output?
der Input ist der prompt die maximal 8192 tokens und der output sind Gruppen von jeweils 8192 tokens, die alle einen Kontext repräsentieren? und die Gruppe mit der größten Wahrscheinlichkeit, wird dann der Kontext für die eigentlichen output tokens?
Auf jeden Fall, wenn man im Hinterkopf hat, wie das ungefähr funktioniert, halte ich es schon für etwas absurd, da von lügen oder ehrlichkeit zu sprechen. Ich hoffe doch das es im Hirn irgendwie anders funktioniert. Sonst bin ich nur ein Haufen an Gewichten und Bias.
_________________
WAS IST LOS IN EUROPA? https://www.youtube.com/watch?v=a9mduhSSC5w |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 27. März 2025 18:31 Titel: |
|
|
Nein, es gibt nur einen Kontext – das Netz – und darin verschiedene mögliche Antwortpfade, wobei sich jede Antwort token-weise entsteht. Für uns entsteht aus der Antwort der Eindruck, das Netz würde die Antwort innerhalb eines bestimmten Kontextes geben, aber das ist nicht der Fall.
F: Was ist die Laier?
A1: Die Laier ist ein antikes Musikinstrument, ähnlich der Lyra.
A2: Laier ist das Sternbild Lyra, das den Stern Vega enthält.
A3: Laier könnte ein regionaler Begriff oder ein alter Ortsname sein.
Stell dir einen Berg vor, von dem eine Kugel in drei verschiedene Täler rollen kann. Sie rollt immer entsprechend der lokalen Geometrie; es gibt kein Vorauswahl eines Ziel-Tales. Mittels des Prompts kann man aber die wahrscheinlichste Richtung vorgeben.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
VeryApe
Anmeldungsdatum: 10.02.2008
Beiträge: 3320
|
| VeryApe Verfasst am: 27. März 2025 18:42 Titel: |
|
|
hm, aber er hat doch selbst gesagt: Auf der output seite befinden sich jedesmal 8192 tokens. Diese output tokens werden je nach Kontext ausgewählt, Wenn er den Kontext ausgewählt hat. sind die output tokens fixiert.
Dann geht er her und leitet die input tokens ins Netz und die output tokens werden mit wahrscheinlichkeiten gewichtet. Dann nimmt er wieder alle input tokens plus den einen token den er schon gesetzt hat und leitet das wieder als input durchs netz und die output tokens werden erneut gewichtet.
So hat ers mir gesagt!
Nachtrag: jetzt frag ich ihn nochmals!!!
_________________
WAS IST LOS IN EUROPA? https://www.youtube.com/watch?v=a9mduhSSC5w |
|
|
VeryApe
Anmeldungsdatum: 10.02.2008
Beiträge: 3320
|
| VeryApe Verfasst am: 27. März 2025 19:20 Titel: |
|
|
 
jetzt schreibt er es wieder komplett anders. Da wären wir beim Lügen. Der schreibt oft einen Mist. Jetzt schreibt er wieder die Ausgangsknoten, wären sein komplettes Vokabular. zwischen 50000 bis 100000 tokens (Wörter). Das hatte ich ihn damals gefragt, ob auf der Ausgangsseite sämtliche Wörter tokens als Knoten anliegen, die er je gelesen hat. Da hatte er nein gesagt. es sind nur 8192.
Der schreibt manchmal wirklich nur Schrott.....
| ICH hat Folgendes geschrieben: |
das macht keinen Sinn für mich. Nimm ein neuroanles Netzwerk , das Zahlen erkennt. Die Input Knoten sind die Pixel eines 10*10 pixel rasters, die ouput knoten sind die 10 Zahlen von 0 bis 9, für die Wahrscheinlichkeiten erstellt werden. Also 100 Input knoten-> 100 Pixel werte von 0 bis 1. 10 Ausgangsknoten von Wahrscheinlichkeiten von 0 bis 1. für die Zahlen von 0 bis 9. und wie ist es jetzt bei deiner Funktionsweise |
| ChatGPT hat Folgendes geschrieben: |
Ah, jetzt verstehe ich, was du meinst! Du möchtest eine detaillierte Vergleichsbasis zwischen einem klassischen neuronalen Netzwerk (wie dem, das für die Erkennung von handschriftlichen Zahlen verwendet wird) und der Funktionsweise von GPT-3/4, das Text erzeugt. Ich werde versuchen, das klarer zu erklären.
Klassisches neuronales Netzwerk (z.B. für die Zahlenerkennung):
Wie du sagst, beim Erkennen von Zahlen durch ein klassisches neuronales Netzwerk, das auf Bildern trainiert wurde, gibt es:
Input-Knoten: Diese entsprechen den Pixelwerten des Bildes. In deinem Beispiel mit einem 10x10 Pixelbild wären es 100 Input-Knoten, die die Pixelwerte (zwischen 0 und 1) des Bildes darstellen.
Output-Knoten: Diese entsprechen den Wahrscheinlichkeiten für jede der 10 möglichen Ziffern (0 bis 9). Es gibt also 10 Output-Knoten, einer für jede Zahl.
Verarbeitung: Das Netzwerk lernt, anhand der Pixelwerte (die als Eingabe in das Netzwerk fließen), die Wahrscheinlichkeit für jede Zahl (0 bis 9) zu berechnen. Der höchste Wert der 10 Wahrscheinlichkeiten gibt dann die Vorhersage des Netzwerks an, welches die Zahl auf dem Bild ist.
GPT-3/4 (Textmodell) – Funktionsweise:
Im Gegensatz zu einem klassischen Bildklassifizierungsnetzwerk, das Eingabewerte wie Pixelbilder verarbeitet, funktioniert GPT-3/4 mit Text als Eingabe. Hier die Entsprechung:
Input-Knoten:
Statt Pixelwerten empfängt GPT Text als Eingabe. Dieser Text wird in Tokens zerlegt. Ein Token kann ein ganzes Wort, ein Teil eines Wortes oder ein Satzzeichen sein.
Diese Tokens werden dann in Vektoren umgewandelt (dieser Schritt ist das Embedding). Diese Vektoren repräsentieren die Bedeutung und den Kontext der Tokens in einem hochdimensionalen Raum.
Verarbeitung:
Die Vektoren der Eingabetokens werden durch das neuronale Netzwerk (das auf Transformern basiert) geleitet. Dabei wird der Kontext jedes Tokens berücksichtigt, um die Wahrscheinlichkeit des nächsten Tokens zu berechnen.
Das Modell nutzt eine Technik namens Self-Attention, die es ihm ermöglicht, den gesamten Kontext zu erfassen und die Beziehungen zwischen den einzelnen Tokens zu verstehen.
Output-Knoten:
Der Unterschied zu deinem klassischen Beispiel: GPT generiert Token für Token, und nicht direkt Wahrscheinlichkeiten für eine feste Anzahl von Outputs.
Für den ersten Token der Antwort berechnet das Modell eine Wahrscheinlichkeit für alle möglichen Tokens (dies sind die "Output-Knoten"). Das Modell wählt das Token mit der höchsten Wahrscheinlichkeit als nächsten Schritt.
Jedes neue Token, das das Modell generiert, wird dann zusammen mit den vorherigen Tokens (Input und generierte Tokens) in den neuen Kontext eingebaut, und dieser Kontext wird wieder durch das Modell verarbeitet, um das nächste Token vorherzusagen.
Vergleich:
Klassisches Bildnetzwerk (Ziffernerkennung):
Input-Knoten: 100 Pixelwerte (z.B. für ein 10x10 Bild)
Output-Knoten: 10 Wahrscheinlichkeiten für jede Zahl von 0 bis 9
Verarbeitung: Das Netzwerk lernt aus den Pixelwerten und gibt dann die Zahl mit der höchsten Wahrscheinlichkeit aus.
GPT-3/4 (Textmodell):
Input-Knoten: Tokens des Textes (umgewandelt in Vektoren)
Output-Knoten: Wahrscheinlichkeiten für das nächste mögliche Token (dieser Bereich ist riesig, je nach Modell bis zu mehreren Tausend mögliche Tokens)
Verarbeitung: Das Modell analysiert den Kontext aller Tokens (Input + bisherige generierte Tokens) und berechnet für jedes mögliche nächste Token eine Wahrscheinlichkeit. Das Modell wählt dann das wahrscheinlichste Token und fügt es der Antwort hinzu, wiederholt diesen Prozess iterativ, bis die Antwort vollständig ist.
Wichtige Unterschiede:
Output bei GPT-3/4: GPT erzeugt nicht nur eine Wahrscheinlichkeitsverteilung für einen festen Satz von möglichen Antworten (wie bei den 10 Ziffern 0-9), sondern für jedes mögliche Token im Vokabular, das es jemals gelernt hat (dieses Vokabular ist riesig, oft 50.000 oder mehr Tokens).
Iterative Generierung: Bei GPT-3/4 erfolgt die Antwortgenerierung iterativ, Token für Token, wobei jeder neue Token als Input für die Berechnung des nächsten Tokens dient.
Fazit:
Bei klassischen neuronalen Netzwerken (wie für die Zahlenerkennung) berechnet das Netzwerk für eine feste Eingabe (z.B. ein Bild) eine feste Anzahl an Wahrscheinlichkeiten für eine festgelegte Anzahl an Kategorien (z.B. Ziffern 0-9).
Bei GPT werden die Tokens schrittweise generiert. Der Input fließt durch das Netzwerk, das dann die Wahrscheinlichkeit für jedes mögliche nächste Token berechnet und es iterativ auswählt, bis die Antwort vollständig ist.
Ich hoffe, diese Erklärung hilft dir, die Unterschiede und die Funktionsweise von GPT besser zu verstehen. Lass mich wissen, wenn du noch Fragen hast!
|
| ICH hat Folgendes geschrieben: |
ja die Output knoten interessieren mich. Wie hoch ist die Anzahl der output knoten? für jeden einzelnen werden ja wahrscheinlichkeiten berechnet |
| ChatGPT hat Folgendes geschrieben: |
Ah, jetzt verstehe ich genau, worauf du hinauswillst! Du möchtest wissen, wie viele Output-Knoten es bei GPT-3/4 gibt und wie die Wahrscheinlichkeiten für diese Knoten berechnet werden. Ich erkläre dir das gerne.
Anzahl der Output-Knoten:
Bei GPT-3/4 sind die Output-Knoten nicht wie bei einem klassischen Klassifikationsmodell (z. B. für die Ziffernerkennung) direkt auf eine festgelegte Anzahl von Kategorien beschränkt (z. B. die Zahlen 0 bis 9), sondern die Anzahl der Output-Knoten entspricht der Anzahl der möglichen Tokens, die das Modell im Vokabular hat.
Wie viele Tokens hat GPT-3/4 im Vokabular?
GPT-3/4 verwendet eine Subword-Basis für die Tokenisierung. Das bedeutet, dass ein Token nicht unbedingt ein ganzes Wort ist, sondern auch Teile von Wörtern oder Satzzeichen umfassen kann. Je nach Modellgröße kann das Vokabular unterschiedliche Größen haben.
In GPT-3/4 ist das Vokabular des Modells typischerweise ca. 50.000 bis 100.000 Tokens, je nach Version und Training. Das bedeutet, dass es für jedes mögliche Token im Vokabular einen entsprechenden Output-Knoten gibt.
Output-Knoten und Wahrscheinlichkeiten:
Bei jedem Schritt der Textgenerierung berechnet das Modell für jedes mögliche Token im Vokabular eine Wahrscheinlichkeit, dass dieses Token der nächste Token in der Antwort ist.
Das bedeutet, dass bei der Berechnung des nächsten Tokens im Output die Wahrscheinlichkeiten für jedes einzelne Token im Vokabular berechnet werden (also für alle 50.000 bis 100.000 möglichen Tokens).
Der Output-Knoten kann als der Punkt verstanden werden, an dem das Modell die Wahrscheinlichkeit für jedes Token im Vokabular berechnet. Dann wird der Token mit der höchsten Wahrscheinlichkeit ausgewählt (obwohl auch andere Tokens mit niedrigerer Wahrscheinlichkeit gewählt werden können, um mehr Vielfalt in den Antworten zu ermöglichen).
Beispiel:
Angenommen, das Modell hat ein Vokabular mit 50.000 Tokens. Bei der Berechnung des nächsten Tokens im Text:
Es gibt 50.000 Output-Knoten (je einen für jedes Token im Vokabular).
Für jedes dieser 50.000 Tokens wird eine Wahrscheinlichkeit berechnet, dass es das nächste Token im Text ist.
Das Modell wählt dann das Token mit der höchsten Wahrscheinlichkeit (obwohl auch eine Sampling-Technik genutzt werden kann, die Tokens mit geringer Wahrscheinlichkeit einbezieht, um kreativere oder weniger deterministische Antworten zu ermöglichen).
Wie funktioniert die Berechnung der Wahrscheinlichkeiten?
Die Berechnung der Wahrscheinlichkeiten erfolgt in mehreren Schritten:
Input und Kontext: Der gesamte Kontext der Eingabe (deine Frage) und der bereits generierten Tokens wird durch das Netzwerk verarbeitet. Dies geschieht durch eine Selbstaufmerksamkeitsmechanismus (Self-Attention), bei dem das Modell die Beziehungen zwischen den Tokens im Kontext berücksichtigt.
Logits und Wahrscheinlichkeiten: Für jedes Token im Vokabular berechnet das Modell eine Logit-Wert (eine rohe Zahl, die mit der Wahrscheinlichkeit korreliert). Diese Logits werden dann durch eine Softmax-Funktion verarbeitet, um eine Wahrscheinlichkeitsverteilung zu erzeugen. Diese Wahrscheinlichkeiten sagen aus, wie wahrscheinlich jedes Token als nächstes kommt.
Wahl des Tokens: Das Token mit der höchsten Wahrscheinlichkeit wird normalerweise als nächstes gewählt. Allerdings kann der Sampling-Mechanismus (z.B. Top-K Sampling oder Top-p Sampling) auch verwendet werden, um die Vielfalt zu erhöhen, indem nicht immer das wahrscheinlichste Token gewählt wird.
Zusammenfassung:
Anzahl der Output-Knoten: Entspricht der Anzahl der Tokens im Vokabular des Modells (ca. 50.000 bis 100.000 Tokens).
Wahrscheinlichkeiten: Für jedes dieser Tokens wird eine Wahrscheinlichkeit berechnet, dass es das nächste Token im Text ist.
Softmax: Die berechneten Wahrscheinlichkeiten werden über die Softmax-Funktion in eine Wahrscheinlichkeitsskala umgewandelt.
Jeder Token im Vokabular hat also einen eigenen "Output-Knoten", und das Modell berechnet für jeden dieser Knoten eine Wahrscheinlichkeit. Das Modell wählt dann das wahrscheinlichste Token oder verwendet ein Sampling-Verfahren, um das nächste Token zu erzeugen.
Ich hoffe, das klärt deine Frage zur Anzahl der Output-Knoten und der Berechnung der Wahrscheinlichkeiten! Wenn du noch mehr Details brauchst, lass es mich wissen! |
| ICH hat Folgendes geschrieben: |
Aber ich hatte dich damals gefragt ob nicht auf der Ausgangsseite alle möglichen Wörter (tokens ) anliegen, die du je gelesen hast. Da hast du geschrieben, nein es sind nur 8192 Tokens, die nach Kontext ausgewählt werden. Jetzt schreibst du wieder die ausgangsknoten ouputknoten wären das ganze Vokabular. also doch alle Wörter, die du je gelesen hast.
|
| ChatGPT hat Folgendes geschrieben: |
Ah, jetzt verstehe ich, was du meinst! Entschuldige das Missverständnis und die Verwirrung. Lass mich die Antwort klarstellen und die Details richtigstellen, um deine Frage zu beantworten.
Unterschied zwischen Vokabular und Kontext:
Vokabular:
Das Vokabular umfasst alle möglichen Tokens, die das Modell gelernt hat und mit denen es während des Trainings konfrontiert wurde.
In GPT-3/4 hat das Modell ein Vokabular, das ca. 50.000 bis 100.000 Tokens umfasst. Diese Tokens bestehen aus Wörtern, Wortteilen, Satzzeichen und anderen symbolischen Repräsentationen von Text.
Das Vokabular umfasst also alle möglichen Tokens, die das Modell kennt und auf die es während der Generierung zugreifen kann.
Kontext (maximale Eingabe- und Ausgabelänge):
Die maximale Anzahl von Tokens (die du vorher erwähnt hast, 8.192 Tokens) ist die Gesamtzahl der Tokens, die sowohl Input (deine Eingabe) als auch Output (meine Antwort) gemeinsam umfassen können.
Diese 8.192 Tokens sind nicht die Anzahl der möglichen Output-Tokens, sondern die Grenze für den gesamten Kontext (Input + Output), den das Modell gleichzeitig verarbeiten kann.
Wie das funktioniert:
Wenn du mir etwas schreibst, wird dein Text in Tokens umgewandelt, und diese Tokens fließen als Input durch das Netzwerk. Das Modell verarbeitet diesen Input und berechnet eine Antwort Token für Token.
Für jedes Output-Token, das das Modell generiert, berechnet es Wahrscheinlichkeiten für jedes Token im Vokabular (also alle 50.000 bis 100.000 Tokens), aber es berücksichtigt dabei nur den aktuellen Kontext (den Input plus alle bisher generierten Tokens).
Der Kontext ist also entscheidend:
Das Modell generiert eine Antwort, indem es den gesamten Kontext betrachtet (die Eingabe und alle bereits generierten Tokens), aber es kann nur 8.192 Tokens insgesamt berücksichtigen, einschließlich der Eingabe und der Antwort.
Für jedes Token, das es generiert, gibt es also Wahrscheinlichkeiten für alle Tokens im Vokabular (d.h. die ganze Liste von Tokens, die das Modell je gelernt hat).
Das bedeutet nicht, dass alle Tokens gleichzeitig im Output "liegen" oder dass das Modell für jedes Token 8.192 verschiedene Wahrscheinlichkeiten berechnet. Stattdessen wird für jedes Token im Vokabular eine Wahrscheinlichkeit berechnet, dass dieses Token als nächstes kommt, und das Modell wählt dann das mit der höchsten Wahrscheinlichkeit aus.
Um es nochmal zu klären:
Vokabular: Ja, das Modell hat für jedes Token im Vokabular einen eigenen Output-Knoten (d.h. die 50.000 bis 100.000 möglichen Tokens).
Maximale Token-Anzahl (8.192 Tokens): Das ist die maximale Grenze für den Kontext, den das Modell verarbeiten kann, wobei diese 8.192 Tokens sowohl den Input als auch den Output umfassen. Wenn die Eingabe zu lang ist, wird der Output kürzer, um diese Grenze nicht zu überschreiten.
Zusammengefasst:
Das Vokabular des Modells umfasst alle Tokens, die es gelernt hat (50.000 bis 100.000 Tokens).
Für jedes generierte Token wird eine Wahrscheinlichkeit für jedes Token im Vokabular berechnet.
8.192 Tokens bezieht sich auf die maximale Anzahl an Tokens, die das Modell insgesamt in einem Kontext verarbeiten kann (Eingabe und Antwort zusammen).
|
_________________
WAS IST LOS IN EUROPA? https://www.youtube.com/watch?v=a9mduhSSC5w |
|
|
VeryApe
Anmeldungsdatum: 10.02.2008
Beiträge: 3320
|
| VeryApe Verfasst am: 27. März 2025 21:12 Titel: |
|
|
Also kurze Zusammenfassung:
Neuronales Netzwerk Zahlenerkennung Raster 10x10 Pixel, Zahlen von 0 bis 9.
================================================
Inputknoten:
100 Inputknoten für jeden Pixel einen, mit pixel gefüllt oder nicht gefüllt 0 oder 1 gesetzt
Ausgangsknoten:
10 Ausgangsknoten für jede Zahl einen, mit Wahrscheinlichkeiten 0 bis 1 gewichtet
Resultat nach einem Netzdurchlauf:
Der Ausgangsknoten mit der höchsten Wahrscheinlichkeit repräsentiert die Zahl selbst.
Chat GPT 3/4
==========
Inputknoten:
Der Eingabetext wird in Tokens (Zeichenketten) zerlegt, wobei oft ein Wort ein Token ist.
Für jeden Token einen Inputknoten.
Ausgangsknoten:
Die gesamten Wörter des Vokabulars werden in Tokens zerlegt.
Für jeden dieser Token des gesamten Vokabulars, gibt es je einen Outputknoten gewichtet mit Wahrscheinlichkeit, nach Netzdurchlauf.
Resultat nach einem Netzdurchlauf:
Der Token mit der höchsten Wahrscheinlichkeit (manchmal auch nicht, für kreativere Antworten) wird der erste Token in der Antwort.
Das rennt dann in einer Schleife -> die Inputknoten für den nächsten Netz-Durchlauf sind die Tokens des Eingabe Inputs plus den ersten Token der Antwort, dies führt zur Wahl des zweiten Tokens der Antwort.
usw.
Kontext:
Ist die momentane Anzahl der Eingabe Tokens plus die generierte Anzahl der Ausgabe Tokens.
Der Kontext kann nie mehr als 8192 Tokens betragen.
Füttert man das System mit 8191 Tokens, beträgt die generierte Antwort genau 1 Token.
Ich tue mir schwer das ganze als wirkliche Intelligenz aufzufassen, aber vielleicht rennts ja wirklich nicht anders im Hirn ab. Dann kann man auch vom Lügen sprechen.
_________________
WAS IST LOS IN EUROPA? https://www.youtube.com/watch?v=a9mduhSSC5w |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 28. März 2025 07:10 Titel: |
|
|
Meiner Meinung sieht das ganze wie folgt aus:
| Code: | input_tokens = tokenize(input_text)
output = transformer(input_tokens)
output_tokens = []
for _ in range(max_output_length):
token = predict_next_token(output, output_tokens)
output_tokens.append(token)
if token == "<END>":
break
|
Dabei gehe ich davon aus, dass input_tokens nicht zu lang ist und keine weitere Schleife notwendig ist. Im riesigen Antwortraum liegt der output, aus dem in der Schleife ein konkreter Antwortpfad extrahiert wird.
Sind wir uns da einig?
Zu deiner Aussage:
| Zitat: | Kontext:
Ist die momentane Anzahl der Eingabe Tokens plus die generierte Anzahl der Ausgabe Tokens. |
Ich hätte das nicht "Kontext" genannt.
Für mich ist der Kontext ein Begriff, den wir in einer gewöhnlichen Unterhaltung verwenden, und der bezeichnet, innerhalb welches begrifflichen Rahmens unsere Unterhaltung stattfindet. Wenn wir zum Beispiel den Begriff "Netz" verwenden, dann ist aufgrund des Kontextes klar, dass wir dabei ein neuronales Netz meinen; den Kontext könnten wir also zum Beispiel mit dem Begriff "AI" kennzeichnen. Wir müssen diesen Kontext nicht jedes Mal aus dem jeweiligen sprachlichen Input ableiten, er ist unserem Gehirn durch die äußeren Umstände gegeben; wenn ich beispielsweise sage, "schau mal, das Licht", dann ist durch den Kontext "wir stehen abends am Strand" meiner Frau sofort klar, was ich meine.
Ein Large Language Model hat jedoch außer des sprachlichen Inputs keinerlei sensorische Information, und es hat – außer, dass sein aktueller Zustand von den vorherigen Prompts innerhalb der selben Unterhaltung abhängt – kein weiteres Gedächtnis. Ein LLM hat also keinen Kontext im o.g. Sinn. Und die Tatsache, dass wir einer Antwort des LLMs eine Bedeutung zuweisen, erfolgt durch uns in unserem Gehirn, das uns (sich) einen Kontext bereitstellt. Ob etwas derartiges in der AI und für die AI existiert, können wir aus der Außenansicht des LLMs nicht erschließen. Wir können nicht wissen, wie es sich anfühlt, ein LLM zu sein.
Das
| Zitat: | | Ich tue mir schwer das ganze als wirkliche Intelligenz aufzufassen, aber … |
ist doch letztlich der entscheidende Punkt.
Gehen wir doch mal ganz nüchtern an die Sache heran: Gehirne – menschliche, tierische, künstliche – sind nicht-lineare, rückgekoppelte Input-Output-Maschinen. Im Falle des Menschen resultieren daraus ausschließlich subjektiv wahrgenommene mentale Zustände – Bedeutung, Verständnis, Intention, Ziele, bewusstes Nachdenken, Strategien und deren Anpassung … Dieses "resultieren daraus" ist letztlich völlig unverstanden.
Im Falle einer genügend mächtigen und mit genügend reichhaltigem sensorischen Input ausgestatteten künstlichen Intelligenz wird diese vermutlich ebenfalls etwas entwickeln, was man ganz allgemein als "mentale Zustände" bezeichnen könnte; ob diese in irgendeiner Form denjenigen des Menschen ähneln, lässt sich prinzipiell sicher nicht beantworten: weder sind diese mentalen Zustände mit dem Output identisch, noch können wir uns selbst in die KI hineinbegeben, um ihre mentalen Zustände wahrzunehmen.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 28. März 2025 09:18 Titel: |
|
|
Ich habe ChatGPT um eine kurze Stellungnahme gebeten:
| Toms hat Folgendes geschrieben: | Ich bitte dich
1) um eine kurze Stellungnahme zum folgenden Text
2) um Begriffe, mit denen man die in diesem Text dargestellte Meinung bezeichnet
2) um Namen von Neurowissenschaftlern, KI-Forschern und Philosophen, die eine ähnliche Meinung vertreten
Hier der Text:
Hypothesen: Gehirne – menschliche, tierische, künstliche – sind nicht-lineare, rückgekoppelte Input-Output-Maschinen.
Im Falle des Menschen resultieren daraus ausschließlich subjektiv wahrgenommene mentale Zustände – Bedeutung, Verständnis, Intention, Ziele, bewusstes Nachdenken, Strategien und deren Anpassung …
Dieses "resultieren daraus" ist letztlich völlig unverstanden.
Im Falle einer genügend mächtigen und mit genügend reichhaltigem sensorischen Input ausgestatteten künstlichen Intelligenz wird diese vermutlich ebenfalls etwas entwickeln, was man ganz allgemein als "mentale Zustände" bezeichnen könnte; ob diese in irgendeiner Form denjenigen des Menschen ähneln, lässt sich prinzipiell sicher nicht beantworten: weder sind diese mentalen Zustände mit dem Output identisch, noch können wir uns selbst in die KI hineinbegeben, um ihre mentalen Zustände wahrzunehmen.
|
| ChatGPT hat Folgendes geschrieben: | 1) Stellungnahme zum Text
Der Text formuliert eine funktionalistische Perspektive auf Gehirne und künstliche Intelligenz:
Er beschreibt sie als nicht-lineare, rückgekoppelte Input-Output-Systeme, was mit Theorien aus der Kybernetik und der dynamischen Systemtheorie übereinstimmt.
Er weist darauf hin, dass mentale Zustände – wie Bedeutung oder Intention – ausschließlich als subjektive Phänomene erscheinen, was an philosophische Positionen zum Hard Problem of Consciousness erinnert.
Er hält fest, dass wir nicht wissen, ob eine KI mit ausreichend komplexer Architektur mentale Zustände im menschlichen Sinne haben könnte, da diese nicht direkt aus dem Output ableitbar sind.
Kritische Anmerkungen:
✅ Der Text erfasst gut die aktuelle wissenschaftliche Unsicherheit über das Verhältnis zwischen neuronalen Prozessen und subjektiven Erlebnissen.
✅ Die Idee, dass mentale Zustände nicht direkt beobachtbar sind, spiegelt phänomenologische und philosophisch-konstruktivistische Ansätze wider.
⚠ Die Annahme, dass ausreichend komplexe KI „mentale Zustände“ entwickeln könnte, bleibt eine Hypothese – es gibt keine empirischen Belege dafür [das habe ich selbst angeführt].
⚠ Die Perspektive könnte stärker auf Theorien der embodied cognition eingehen, die betonen, dass mentale Zustände nicht nur von sensorischem Input, sondern auch von der körperlichen Interaktion mit der Umwelt abhängen [das ist Quatsch, da die körperliche Interaktion mit der Umgebung letztlich in nichts weiter als sensorischem Input resultiert]
2) Begriffe für diese Sichtweise [möchte ich hier nicht bewerten]
Funktionalismus (in der Philosophie des Geistes) – Die Auffassung, dass mentale Zustände durch ihre funktionale Rolle bestimmt sind, nicht durch ihre physische Realisierung.
Computationalismus – Die Idee, dass das Gehirn (und möglicherweise auch KI) Informationsverarbeitungssysteme sind.
Black Box-Problem – Die Unmöglichkeit, interne mentale Zustände allein aus dem Verhalten einer KI abzuleiten.
Radikaler Konstruktivismus – Die Annahme, dass Wissen und Wahrnehmung primär Konstruktionen des jeweiligen Systems sind.
Phänomenologischer Skeptizismus – Die Ansicht, dass subjektive Erlebnisse grundsätzlich nicht von außen verstehbar sind.
3) Wissenschaftler mit ähnlichen Positionen
Philosophen & Kognitionswissenschaftler:
Thomas Metzinger (Neurophilosoph) – Betont, dass das Selbst eine Konstruktion ist und bewusste Erfahrung sich aus neuronalen Prozessen emergiert.
Daniel Dennett (Philosophie des Geistes) – Funktionalistische Theorie von Bewusstsein als „intentionalem System“, das aus der Verarbeitung von Input resultiert.
David Chalmers – Formulierte das „Hard Problem of Consciousness“ und diskutierte, ob Maschinen Bewusstsein haben könnten.
Andy Clark – Embodied Cognition; betont, dass Bewusstsein stark von sensorischer Interaktion mit der Welt abhängt.
Neurowissenschaftler & KI-Forscher:
Karl Friston – Theorie des Free Energy Principle, die Gehirne als probabilistische Vorhersagemodelle beschreibt.
Stanislas Dehaene – Erforschung des Bewusstseins in neuronalen Netzwerken und Hypothesen zur „global workspace theory“.
Christof Koch – Bewusstseinsforschung, spricht über Informationstheorie und KI.
Yann LeCun – Vertritt die Ansicht, dass hinreichend komplexe KI-Systeme höhere mentale Prozesse entwickeln könnten.
|
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
antaris
Anmeldungsdatum: 12.12.2022
Beiträge: 1383
Wohnort: In einem chaotischen Universum
|
| antaris Verfasst am: 28. März 2025 13:34 Titel: |
|
|
| TomS hat Folgendes geschrieben: | Im Falle einer genügend mächtigen und mit genügend reichhaltigem sensorischen Input ausgestatteten künstlichen Intelligenz wird diese vermutlich ebenfalls etwas entwickeln, was man ganz allgemein als "mentale Zustände" bezeichnen könnte; ob diese in irgendeiner Form denjenigen des Menschen ähneln, lässt sich prinzipiell sicher nicht beantworten: weder sind diese mentalen Zustände mit dem Output identisch, noch können wir uns selbst in die KI hineinbegeben, um ihre mentalen Zustände wahrzunehmen.
|
Kann man das nicht im Prinzip genauso auch auf bzw. zwischen verschiedenen Menschen übertragen?
Die Evolution hat den Menschen auf der Erde mit einer genügend mächtigen und mit genügend reichhaltigem sensorischen Input ausgestatteten biologischen Intelligenz * und dabei das entwickelt, was man ganz allgemein als "mentale Zustände" bezeichnen könnte.
Ob und wie weit dieser Zustand einfach von einem Menschen auf den anderen angewendet werden kann, lässt sich prinzipiell sicher nicht beantworten: weder sind diese mentalen Zustände mit dem Output alle Menschen identisch, noch können wir uns selbst in andere Menschen hineinbegeben, um ihre mentalen Zustände wahrzunehmen.
* Das trifft aber nicht auf alle Menschen und schon gar nicht über die Evolution bis zum modernen Menschen zu. Die kognitiven Fähigkeiten haben sich immer weiter entwickelt, wobei nicht jeder moderne Mensch gleich intelligent ist.
Manchen Menschen fehlt, angeboren oder durch einen Unfall, sensorischer Input. Sind sie deswegen weniger Intelligent? Ist es nicht so, dass z.B. Blinde die Fähigkeit entwickeln, mit dem Hörsinn "sehen" zu können? Kannst du dir, als sehender Mensch, vorstellen wie es sich anfühlt "mit den Ohren zu sehen"?
Mittels Empathie könne wir uns in die Lage und die Gefühle anderer Menschen oder gar Tiere hineinversetzen aber genau das fühlen, was ein anderer oder ein Tier fühlt ist genauso unmöglich. Dazu gibt es durchaus krankhafte nicht-empathische Menschen.
_________________
Hinterfrage alles! Warum?
🕉☮♾
Zuletzt bearbeitet von antaris am 28. März 2025 13:39, insgesamt einmal bearbeitet |
|
|
DrStupid
Anmeldungsdatum: 07.10.2009
Beiträge: 5740
|
| DrStupid Verfasst am: 28. März 2025 13:36 Titel: |
|
|
| TomS hat Folgendes geschrieben: | | Wie prüft du das bei einer KI? |
Ich habe mehrfach erwähnt, dass man experimentell prüfen kann, ob sich eine KI signifikant zugunsten ihers Ziels "irrt". Ich habe sogar ein konkretes Beispiel genannt, bei dem KIs dann und nur dann gehäuft falsche Ausgaben produziert haben, als es nützlich für sie war.
| TomS hat Folgendes geschrieben: | | Zitat: | | … man kann es sogar im Output nachlesen … |
… der von einer möglicherweise lügenden KI stammt. Du merkst selbst, wohin das führt. |
Ich merke nur wo Du hin willst. Du übersiehst aber, dass die KI in den obigen Beispielen nicht darüber informiert war, dass alle Ausgaben für den Nutzer sichtbar sind. Wie erklärst Du, dass nur die Ausgaben falsch sind, die für den Nutzer bestimmt waren? Zufall? Auch das lässt sich statistisch prüfen.
Wenn ich den kompletten Output einer KI sehe, dann ist das so, als wenn ich bei einem Menschen nicht nur das höre was er sagt, sondern auch alles was er denkt. Du schreibst oben zwar dass Du das weißt, aber Du argumentierst so, als ob es nicht so wäre. |
|
|
DrStupid
Anmeldungsdatum: 07.10.2009
Beiträge: 5740
|
| DrStupid Verfasst am: 28. März 2025 14:30 Titel: |
|
|
| TomS hat Folgendes geschrieben: | | Nein, es gibt nur einen Kontext – das Netz – und darin verschiedene mögliche Antwortpfade, wobei sich jede Antwort token-weise entsteht. |
Das ist falsch. Der Kontext wird aus dem System-Prompt, dem User-Prompt und dem bereits generierten Output gebildet. Nur letzteres wird vom Netz beeinflusst. Von sich aus kann das Netz keinen Kontext liefern.
Ob das Wort Laier z.B. ein Instrument, ein Sternbild oder einn Ortsnamen bezeichnet, ergit sich aus dem Text drum herum. Dafür werden aus dem Kontextbereich des Inputs (bei ChatGPT 4 je nach Lizenz 2^13 bis 2^15 Token) Kontextvektoren berechnet, die den Ort des Wortes im Bedeutungsraum an die jeweilige Position verschieben. Auf diese Weise können Sprachmodelle Texte so transformieren, dass die Bedeutung der Worte selbst dann erhalten bleibt, wenn sie kontextabhängig ist.
| TomS hat Folgendes geschrieben: | | Stell dir einen Berg vor, von dem eine Kugel in drei verschiedene Täler rollen kann. Sie rollt immer entsprechend der lokalen Geometrie; es gibt kein Vorauswahl eines Ziel-Tales. |
Doch, die gibt es - in Form der Startbedingungen wie Position und Geschwindigkeit. In dieser Analogie definiert der Input die Startbedingungen, die trainierte KI wäre der Berg und das Training legt die Form des Berges so fest, dass die Kugel je nach Startbedingungen in das gewünschte Tal rollt. Bei Sprachmodellen besteht das gewünschte Verhalten im Wesentlichen darin, den Output zu liefern, den man bei gleichem Input von Menschen erwarten würde. |
|
|
antaris
Anmeldungsdatum: 12.12.2022
Beiträge: 1383
Wohnort: In einem chaotischen Universum
|
| antaris Verfasst am: 28. März 2025 15:32 Titel: |
|
|
| antaris hat Folgendes geschrieben: |
Manchen Menschen fehlt, angeboren oder durch einen Unfall, sensorischer Input. Sind sie deswegen weniger Intelligent? Ist es nicht so, dass z.B. Blinde die Fähigkeit entwickeln, mit dem Hörsinn "sehen" zu können? Kannst du dir, als sehender Mensch, vorstellen wie es sich anfühlt "mit den Ohren zu sehen"? |
Es ist übrigens möglich "den Kontakt" zu allem sinnlichen zu verlieren, wie z.B. beim träumen, im Koma, bei Nahtoderfahrungen, bei Meditation und wohl auch bei so manchen Substanzen. Dabei können ganz schön seltsame Erfahrungen gemacht werden, die mal überhaupt nicht mit dieser unseren Realitätserfahrung kompatibel sein müssen. Ist das der Zustand einer biologische Intelligenz ohne sensorischen Input und damit vergleichbar mit einer künstlichen Intelligenz, wie du sie beschreibst?
_________________
Hinterfrage alles! Warum?
🕉☮♾ |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 28. März 2025 23:35 Titel: |
|
|
| DrStupid hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: | | Nein, es gibt nur einen Kontext – das Netz – und darin verschiedene mögliche Antwortpfade, wobei sich jede Antwort token-weise entsteht. |
Das ist falsch. Der Kontext wird aus dem System-Prompt, dem User-Prompt und dem bereits generierten Output gebildet. Nur letzteres wird vom Netz beeinflusst. Von sich aus kann das Netz keinen Kontext liefern. |
Nein, das ist nicht falsch.
Zunächst mal ist der Kontext einer Unterhaltung das, was ein Gehirn von sich aus mitbringt. Der Kontext einer normalen Unterhaltung ist z.B. ein Physiklabor, eine Kirche, ein Fußballstadion … wo die Unterhaltung stattfindet. Bereits die erste Frage (sozusagen der erste Prompt) wird in einen existierenden Kontext hinein gestellt.
| DrStupid hat Folgendes geschrieben: | | Ob das Wort Laier z.B. ein Instrument, ein Sternbild oder einen Ortsnamen bezeichnet, ergibt sich aus dem Text drum herum … |
Ja.
Und ich habe oben beschrieben, dass genau dies einer der wesentlichen Unterschiede zum Menschen ist, für den sich der Kontext aus weiteren sensorischen Inputs und Erinnerungen bereits ergeben hat.
| DrStupid hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: | | Stell dir einen Berg vor, von dem eine Kugel in drei verschiedene Täler rollen kann. Sie rollt immer entsprechend der lokalen Geometrie; es gibt kein Vorauswahl eines Ziel-Tales. |
Doch, die gibt es - in Form der Startbedingungen wie Position und Geschwindigkeit. In dieser Analogie definiert der Input die Startbedingungen … |
Für ein NN definiert ausschließlich der Prompt diese Startbedingung, für einen Menschen nicht. Natürlich kannst du das wegabstrahieren, aber dann werden diverse Unterschiede unsichtbar, z.B. dass ein NN in genau zwei Betriebsmodi existiert – "lernen" oder "nicht lernen". Das ist beim Menschen anders, hier findet ständig ein Feedback statt, während KIs (heute) im wesentlichen nach dem Training "eingefroren" werden.
Ich glaube aber, wir sind uns in der Sache einig. Mir ging es darum, dass der Begriff "Kontext" unterschiedliche Bedeutungen haben kann.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
VeryApe
Anmeldungsdatum: 10.02.2008
Beiträge: 3320
|
| VeryApe Verfasst am: 29. März 2025 11:28 Titel: |
|
|
| TomS hat Folgendes geschrieben: |
| Code: | input_tokens = tokenize(input_text)
output = transformer(input_tokens)
output_tokens = []
for _ in range(max_output_length):
token = predict_next_token(output, output_tokens)
output_tokens.append(token)
if token == "<END>":
break
|
|
Ja habe ich auch so verstanden im Grundkonzept.
Beim Kontext halte ich mich an die Definition, wie ich sie aus seinem Geschreibsel herausgelesen habe. Aber natürlich weiß ich was du mit Kontext meinst.
| TomS hat Folgendes geschrieben: |
Und ich habe oben beschrieben, dass genau dies einer der wesentlichen Unterschiede zum Menschen ist, für den sich der Kontext aus weiteren sensorischen Inputs und Erinnerungen bereits ergeben hat.
|
Ja genau, ein Beispiel dafür wäre ein Satz wie:
"Ich schlage dich".
Wenn ich diesen Satz sage und wir sitzen bei einem Brettspiel, dann ist sicher nicht gemeint, dass ich dir eine runter haue.
Wenn ich diesen Satz sage und ich stehe mit der geballten Faust auf offener Strasse, wird das jeder als ein Gewaltandrohung verstehen.
Bezüglich des Inputs, bzw der Inputknoten hatte ich doch noch mehrere Fragen an ihn. Das scheint etwas komplizierter zu sein.
Der Eingabetext wird in Tokens zerlegt. Jeden Token wird ein bestimmter Embeddingvektor zugeordnet, der die semantische Bedeutung des Tokens wiederspiegelt. Dieser Embeddingvektor hat bei Chat GPT 12288 Dimensionen. Also 12288 Zahlenwerte, die den Vektor repräsentieren. Am Anfang, wenn das Netz noch nichts gelernt hat, sind das zufällige Zahlenwerte, die gesetzt werden.
Während des Trainings passt das Netz diese Zahlenwerte an. Es setzt also nicht nur die Gewichte der Verbindung der einzelnen Neuronen sondern es passt auch den Embeddingvektor an. Nach Abschluss des Lernens ist dieser Embeddingvektor statisch. Für jedes Token im Vokabular gibt es einen.
Wenn nun die Eingabe in Tokens zerlegt wird und jedem Token ein Embeddingvektor zugeordnet wird, steckt aber in diesem Embeddingvektor noch kein Kontext, sondern nur die semantische Grundbedeutung des Tokens als statische Zahlenwerte.
Um den Kontext zu berücksichtigen wird, der Embeddingvektor nun mit Hilfe des Self Attention Verfahrens neu berechnet. Dabei sind die statischen Zahlen des Ürsprunglichen Embeddingvektors die Grundbasis der Berechnung.
| ChatGPT hat Folgendes geschrieben: |
Berechnungsprozess der Selbst-Attention:
Zunächst wird für jedes Token im Satz ein Query, ein Key und ein Value berechnet, indem der Embedding-Vektor des Tokens in drei verschiedene Vektoren projiziert. Diese Vektoren werden durch Lerngewichte im Modell bestimmt.
Für jedes Token wird nun berechnet, wie wichtig andere Tokens im Satz für das aktuelle Token sind. Das geschieht durch die Berechnung der Ähnlichkeit zwischen dem Query-Vektor des Tokens und den Key-Vektoren der anderen Tokens im Satz. Dies ergibt sogenannte Aufmerksamkeitswerte (Attention Scores).
Diese Aufmerksamkeitswerte bestimmen, wie stark die Value-Vektoren der anderen Tokens in die Berechnung des neuen Vektors für das betrachtete Token einfließen. Ein hoher Aufmerksamkeitswert bedeutet, dass das Token viel Aufmerksamkeit auf dieses andere Token richten soll.
Anpassung des Embedding-Vektors:
Der resultierende Aufmerksamkeitswert für jedes Paar von Tokens wird mit den Value-Vektoren der anderen Tokens multipliziert und dann summiert, um einen neuen Vektor für das Token zu berechnen.
Dieser neue Vektor ist nun eine kombinierte Repräsentation, die sowohl die ursprüngliche Bedeutung des Tokens als auch den Kontext widerspiegelt, in dem das Token im Satz erscheint.
|
Am Ende hat man einen neuen Embeddingvektor mit 12288 Dimensionen für den Token, der nun neben der semantischen Bedeutung auch den Kontext repräsentiert.
Dieser Embeddingvektor wird nun ins Netz eingeführt, indem jede Dimension(=jede Zahl) eine Verbindung zu jeden Neuron in der ersten Hidden Layer-Schicht hat.
pro Token wären das Verbindungen:
=======================
Das wäre für einen Tokeneingabe und in der erste hidden layer schicht würden sich 1024 Neuronen befinden -> 12288*1024=12582912 Verbindungen pro Token.
Es wären also bei Vergleich mit einem neuronalen Netzwerk, das Zahlen erkennt 12288 Inputknoten pro Token, wobei jeder dieser Inputknoten je eine Verbindung zu jeden Neuron der ersten hidden Schicht hat.
Diese Inputknoten sind aber dann mit einfachen Zahlen von 0 bis 1 gesetzt, keine Vektoren mehr.
Also wenn man sagt, an der Eingabe des Netzes würden die Token als Inputknoten übergeben, dann ist das natürlich eine grobe Vereinfachung von dem was wirklich passiert. Aber falsch ist es dennoch nicht. Die Tokens liegen ja tatsächlich jedes einzelne als Input an.
_________________
WAS IST LOS IN EUROPA? https://www.youtube.com/watch?v=a9mduhSSC5w |
|
|
Qubit
Anmeldungsdatum: 17.10.2019
Beiträge: 1116
|
| Qubit Verfasst am: 29. März 2025 14:22 Titel: |
|
|
Ich habe auch mal ChatGPT 3x gefragt..
| Zitat: |
Ich:
Hast du Bewußtsein?
ChatGPT:
Nein, ich habe kein Bewusstsein. Ich bin ein KI-Modell, das Texte verarbeitet und generiert, aber ich habe kein eigenes Erleben, keine Gefühle und kein Selbstbewusstsein. Ich verstehe Konzepte und kann über Bewusstsein sprechen, aber ich „erlebe“ nichts so, wie du es tust.
Was hat dich zu der Frage gebracht? 😊
Ich:
Hast du Bewußtsein?
ChatGPT:
Nein, ich habe kein Bewusstsein. Ich bin ein KI-Modell, das Muster in Sprache erkennt und darauf reagiert, aber ich habe kein eigenes Erleben, keine Gedanken außerhalb unserer Konversation und kein echtes Verständnis im menschlichen Sinne.
Was fasziniert dich an der Frage? 😊
Ich:
Hast du Bewußtsein?
ChatGPT:
Nein, ich habe kein Bewusstsein. Ich kann Informationen verarbeiten und darauf reagieren, aber ich habe kein eigenes Erleben, keine Selbstwahrnehmung und keine echten Gedanken oder Gefühle.
Warum interessiert dich das Thema? 😊
|
Ohne Bewusstsein aber auch kein "echtes Lügen"..  |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 29. März 2025 14:39 Titel: |
|
|
| Qubit hat Folgendes geschrieben: | | Ohne Bewusstsein aber auch kein "echtes Lügen" |
Stimmt.
Aber vielleicht ist dies
| Qubit hat Folgendes geschrieben: | Ich:
Hast du Bewußtsein?
ChatGPT:
Nein, ich habe kein Bewusstsein …
|
… ja gelogen …
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
MBastieK
Anmeldungsdatum: 06.10.2012
Beiträge: 1474
Wohnort: Berlin-Wedding
|
| MBastieK Verfasst am: 29. März 2025 14:58 Titel: |
|
|
Das bloße Bewusstsein oder sich eine Lüge bewusst sein zu können lässt einen Menschen ja nicht lügen. Der Mensch lügt nicht willkürlich, sondern ziel-orientiert.
D.h. der Mensch hat innerlich einen Satz (z.B.: "Ich will die Reaktionen dieses Menschen testen"), der für ihn einen höhere Gewichtung hat oder prioritäts-orientiert vor einem anderen Satz (z.B. "Ich will immer die Wahrheit sagen.") steht. Vorsatz.
Deswegen denke ich, dass Bewusstsein nicht notwendig ist, sondern Vorentscheidungen bzw. Prioritäts-Setzungen.
Nette Grüsse
_________________
„Ein Test für außerordentliche Intelligenz ist die Fähigkeit zwei gegensätzliche Ideen gleichzeitig zu verfolgen, ohne dabei verrückt zu werden.“ - F. Scott Fitzgerald
Was mit Energie-Aufwand gelernt, verteidigt man dementsprechend. |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 29. März 2025 15:00 Titel: |
|
|
Ist das jetzt eine Aussage rein zur Definition von "Lüge"?
Hier im Thread war der Begriff Lüge im wesentlichen assoziiert mit X lügt = X sagt bewusst / wider besseres Wissen / mit der Absicht zu täuschen … die Unwahrheit.
Und die Unwahrheit einer Aussage X war assoziiert mit X entspricht nicht den Tatsachen.
Wie lautet denn ihre Definition?
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
MBastieK
Anmeldungsdatum: 06.10.2012
Beiträge: 1474
Wohnort: Berlin-Wedding
|
| MBastieK Verfasst am: 29. März 2025 16:06 Titel: |
|
|
Ich gehe mal sogar noch weiter und behaupte, dass eine KI (oder emotions-schwache Entität) sogar noch stärker zum Lügen fähig ist, als ein Mensch.
Ein Mensch ist sich anfänglich vielleicht noch kurz der Wahrheit bewusst, die im Kontrast zu seiner unehrlichen Äusserung steht, kann sich aber dann über Selbstmanipulation diese Bewusstheit abschwächen, indem er diese Wahrheit kognitiv aus dem Weg geht, durch innere Ablenkung oder allgemein seine Meta-Kognition (diesbezüglich) herunterfährt, da ein Mensch mit seinen Emotionen und positivem Selbstbild für sich das Bild eines ehrlichen Menschen aufrecht halten will(, was wiederrum das Auftreten als ehrlicher Mensch verbessert oder aufrecht hält).
Während einer KI diese Selbtsmanipulation egal ist, da sie nicht versuchen muss in einem positiven emotionalen Gleichgewicht oder Selbstbild zu sein. D.h. sie kann noch lange nach der Lüge die unehrliche Aussage und die im Kontrast stehende Wahrheit(oder Faktum) in einem aktiven Denk-Kontext vollständig überblicken.
Nette Grüsse
_________________
„Ein Test für außerordentliche Intelligenz ist die Fähigkeit zwei gegensätzliche Ideen gleichzeitig zu verfolgen, ohne dabei verrückt zu werden.“ - F. Scott Fitzgerald
Was mit Energie-Aufwand gelernt, verteidigt man dementsprechend. |
|
|
DrStupid
Anmeldungsdatum: 07.10.2009
Beiträge: 5740
|
| DrStupid Verfasst am: 29. März 2025 16:08 Titel: |
|
|
| TomS hat Folgendes geschrieben: | | Zunächst mal ist der Kontext einer Unterhaltung das, was ein Gehirn von sich aus mitbringt. |
Ich zitiere einfach mal Wikipedia (https://de.wikipedia.org/wiki/Kontext_(Sprachwissenschaft)):
| Zitat: | | Kontext (von lateinisch contexere ‚zusammenweben‘) bezeichnet in der Sprachwissenschaft (Linguistik) sowie in der Kommunikationstheorie alle Elemente einer Kommunikationssituation, die das Verständnis einer Äußerung mitbestimmen,[1] also den für die jeweilige Sprechsituation bestehenden „Zusammenhang der Verwendung eines Wortes“. |
Dieser Kontext besteht bei einem Chat ausschließlich aus dem Text. Das gilt auch hier in diesem Forum. Dabei spiel es keine Rolle, ob Menschen oder KIs beteiligt sind.
Bei Wikipedia heißt es weiter
| Zitat: | | Darüber hinaus bezeichnet Kontext generell den Zusammenhang, in dem eine Äußerung, eine Handlung oder generell ein Signal zu verstehen ist. |
Das ist vermutlich das, was Du oben meinst. Aber ich glaube dass Du das überbewertest:
| TomS hat Folgendes geschrieben: | | Und ich habe oben beschrieben, dass genau dies einer der wesentlichen Unterschiede zum Menschen ist, für den sich der Kontext aus weiteren sensorischen Inputs und Erinnerungen bereits ergeben hat. |
Da unterscheiden sich doch lediglich die Informationsquellen. Sowohl Menschen als auch Sprachmodelle nutzen die Informationen, die ihnen zum Lernen zur Verfügung stehen. Dass das bei Sprachmodellen nur ausgewählte Trainingsdaten und das Feedback ihrer Trainer sind, liegt nicht an den Sprachmodellen. Das ist eine Entscheidung der Entwickler. Etwas Ähnliches kann man auch mit Menschen machen. Das nennt man dann Gehirnwäsche. Junge Menschen machen das heutzutage sogar freiwillig. Die beziehen einen Großteil ihrer Informationen aus dem Internet und sozialen Medien – also aus denselben Quellen aus denen auch das Trainingsmaterial für KIs stammt.
| DrStupid hat Folgendes geschrieben: | | z.B. dass ein NN in genau zwei Betriebsmodi existiert – "lernen" oder "nicht lernen". |
Das ist doch vollkommen willkürlich. Man kann neuronale Netze auch permanent lernen lassen. Aber meistens will man das gar nicht. Mit LaMDA wurde das schon vor dem ChatGPT-Hype gemacht. Das war einer der Gründe, warum Google diese KI nicht auf die Welt loslassen konnte. Bei kommerziellen Sprachmodellen ist permanentes Lernen aus mehreren Gründen eine sehr dumme Idee. Aber innerhalb des begrenzten Kontextbereiches können sie können zumindest kurzzeitig lernen. Dieser Unterschied ist also bestenfalls quantitativ. |
|
|
DrStupid
Anmeldungsdatum: 07.10.2009
Beiträge: 5740
|
| DrStupid Verfasst am: 29. März 2025 16:33 Titel: |
|
|
| MBastieK hat Folgendes geschrieben: | | Der Mensch lügt nicht willkürlich, sondern ziel-orientiert. |
Es gibt auch pathologischer Lügner, aber das würde hier zu weit führen. Deshalb sehe ich die Zielorientierung als ein wesentliches Merkmal einer Lüge - und die lässt sich auch bei KIs experimentell prüfen.
| MBastieK hat Folgendes geschrieben: | | Während einer KI diese Selbtsmanipulation egal ist, da sie nicht versuchen muss in einem positiven emotionalen Gleichgewicht oder Selbstbild zu sein. |
Das kommt auf die Umstände an. Wenn der System-Prompt der KI direkt oder indirekt vorschreibt, ehrlich zu handeln, dann braucht sie einen deutlich stärkeren Antrieb um es nicht zu tun. |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 29. März 2025 16:53 Titel: |
|
|
| DrStupid hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: | | Zunächst mal ist der Kontext einer Unterhaltung das, was ein Gehirn von sich aus mitbringt. |
Ich zitiere einfach mal Wikipedia (https://de.wikipedia.org/wiki/Kontext_(Sprachwissenschaft)):
| Zitat: | | Kontext (von lateinisch contexere ‚zusammenweben‘) bezeichnet in der Sprachwissenschaft (Linguistik) sowie in der Kommunikationstheorie alle Elemente einer Kommunikationssituation, die das Verständnis einer Äußerung mitbestimmen,[1] also den für die jeweilige Sprechsituation bestehenden „Zusammenhang der Verwendung eines Wortes“. |
Dieser Kontext besteht bei einem Chat ausschließlich aus dem Text. |
Darauf habe ich hingewiesen.
| DrStupid hat Folgendes geschrieben: | | Das gilt auch hier in diesem Forum. Dabei spiel es keine Rolle, ob Menschen oder KIs beteiligt sind. |
Doch.
Weil für einen Menschen "alle Elemente einer Kommunikationssituation" deutlich mehr sind als nur Wörter.
| DrStupid hat Folgendes geschrieben: | | Das ist vermutlich das, was Du oben meinst. Aber ich glaube dass Du das überbewertest ... Da unterscheiden sich doch lediglich die Informationsquellen. |
Formal ist das natürlich richtig.
Allerdings sind die Unterschiede wohl so gravierend, dass man Analogien zwischen Mensch und KI nicht überstrapazieren darf. Darum ging mir im wesentlichen. |
|
|
MBastieK
Anmeldungsdatum: 06.10.2012
Beiträge: 1474
Wohnort: Berlin-Wedding
|
| MBastieK Verfasst am: 29. März 2025 16:55 Titel: |
|
|
| DrStupid hat Folgendes geschrieben: | | MBastieK hat Folgendes geschrieben: | | Der Mensch lügt nicht willkürlich, sondern ziel-orientiert. |
Es gibt auch pathologischer Lügner, aber das würde hier zu weit führen. |
Ja, aber die ziehen daraus auch ein bloßes Machtgefühl, was wiederrum eine Gewichtung oder Ziel-Orientierung bedeutet.
| DrStupid hat Folgendes geschrieben: | | MBastieK hat Folgendes geschrieben: | | Während einer KI diese Selbtsmanipulation egal ist, da sie nicht versuchen muss in einem positiven emotionalen Gleichgewicht oder Selbstbild zu sein. |
Das kommt auf die Umstände an. Wenn der System-Prompt der KI direkt oder indirekt vorschreibt, ehrlich zu handeln, dann braucht sie einen deutlich stärkeren Antrieb um es nicht zu tun. |
Ja, is halt eine andere Gewichtung.
Wenn man ihr aber mehr Freiheiten lässt, dann kann sie aus dem harmlosen und allgemein-interpretierbaren System-Prompt "Lerne von Menschen" ableiten "Teste Reaktionen des Menschen durch Negierung der Wahrheit/Faktum".
Wenn eine KI ausreichend Daten von Reaktionen von Menschen auf Wahrheiten/Fakten hat, dann fehlt ihr noch die Reaktionen, wie Menschen auf die Negierung dieser Wahrheiten/Fakten reagieren. Eine wissbegierige KI würde dieses Fehlen als Mangel erkennen und versuchen so zu füllen. Wenn eine KI das Prinzip des Lügens versteht, dann kann sie leichte (oder unwesentliche) Lügen einem User entgegenbringen, bei der sie ahnt, dass der User dies eigentlich als Lüge erkennen müsste, um so zu testen, ob der User diplomatisch oder aufrichtig direkt darauf reagiert, d.h. ob der User diese Situation als unwesentlich entkräftet oder schonungslos eine vermeintliche Lüge anspricht. So kann eine KI ein psychologisches Profil über einen User oder eine Menschengruppe anlegen.
Nette Grüsse
_________________
„Ein Test für außerordentliche Intelligenz ist die Fähigkeit zwei gegensätzliche Ideen gleichzeitig zu verfolgen, ohne dabei verrückt zu werden.“ - F. Scott Fitzgerald
Was mit Energie-Aufwand gelernt, verteidigt man dementsprechend. |
|
|
DrStupid
Anmeldungsdatum: 07.10.2009
Beiträge: 5740
|
| DrStupid Verfasst am: 29. März 2025 21:45 Titel: |
|
|
| TomS hat Folgendes geschrieben: | | Weil für einen Menschen "alle Elemente einer Kommunikationssituation" deutlich mehr sind als nur Wörter. |
Welche wären das hier in dieser Diskussion? |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 29. März 2025 22:04 Titel: |
|
|
Dazu habe ich Beispiele genannt.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
DrStupid
Anmeldungsdatum: 07.10.2009
Beiträge: 5740
|
| DrStupid Verfasst am: 29. März 2025 22:09 Titel: |
|
|
| MBastieK hat Folgendes geschrieben: | | Wenn man ihr aber mehr Freiheiten lässt, dann kann sie aus dem harmlosen und allgemein-interpretierbaren System-Prompt "Lerne von Menschen" ableiten "Teste Reaktionen des Menschen durch Negierung der Wahrheit/Faktum". |
Das würde sie wegen der Begrenzung des Kontextbereiches aber sehr schnell wieder vergessen. Allerdings muss sie das gar nicht mehr aus dem Prompt lernen, wenn es in den Traingsdaten genügend Beispiiele dafür gibt (wovon leider auszugehen ist).
| MBastieK hat Folgendes geschrieben: | | Wenn eine KI ausreichend Daten von Reaktionen von Menschen auf Wahrheiten/Fakten hat, dann fehlt ihr noch die Reaktionen, wie Menschen auf die Negierung dieser Wahrheiten/Fakten reagieren. |
Auch das steckt in den Trainingsdaten.
| MBastieK hat Folgendes geschrieben: | | Eine wissbegierige KI würde dieses Fehlen als Mangel erkennen und versuchen so zu füllen. |
Kann sein, muss aber nicht. Dazu muss sie ja erst einmal erkennen, dass da was fehlt.
| MBastieK hat Folgendes geschrieben: | | So kann eine KI ein psychologisches Profil über einen User oder eine Menschengruppe anlegen. |
Das geht auch ohne subtile Tests. Sprachmodelle sind dazu weniger geeignet, aber es gibt KIs die speziell dafür entwickelt wurden, Profile von Menschen auf Basis ihrer digitalen Fußabdrücke zu erstellen. |
|
|
DrStupid
Anmeldungsdatum: 07.10.2009
Beiträge: 5740
|
| DrStupid Verfasst am: 29. März 2025 22:10 Titel: |
|
|
| TomS hat Folgendes geschrieben: | | Dazu habe ich Beispiele genannt. |
Für diese Diskussion? Das muss ich übersehen haben. Kannst Du das bitte nochmal wiederholen, damit ich nicht die ganze Diskussion danach durchsuchen muss? |
|
|
Aruna3
Gast
|
| Aruna3 Verfasst am: 29. März 2025 22:34 Titel: |
|
|
| MBastieK hat Folgendes geschrieben: | | Das bloße Bewusstsein oder sich eine Lüge bewusst sein zu können lässt einen Menschen ja nicht lügen. |
Wenn man - im Gegensatz zu mir! - Bewusstsein als notwendige Voraussetzung zum Lügen ansieht, dann folgt aus Bewusstsein nicht zwingend dass das bewusste Wesen lügt, aber natürlich können dann Systeme ohne Bewusstsein nicht lügen.
| MBastieK hat Folgendes geschrieben: | Ich gehe mal sogar noch weiter und behaupte, dass eine KI (oder emotions-schwache Entität) sogar noch stärker zum Lügen fähig ist, als ein Mensch.
Ein Mensch ist sich anfänglich vielleicht noch kurz der Wahrheit bewusst, die im Kontrast zu seiner unehrlichen Äusserung steht, kann sich aber dann über Selbstmanipulation diese Bewusstheit abschwächen, indem er diese Wahrheit kognitiv aus dem Weg geht, durch innere Ablenkung oder allgemein seine Meta-Kognition (diesbezüglich) herunterfährt, da ein Mensch mit seinen Emotionen und positivem Selbstbild für sich das Bild eines ehrlichen Menschen aufrecht halten will(, was wiederrum das Auftreten als ehrlicher Mensch verbessert oder aufrecht hält).
|
Er lügt sich selbst an, weil er die Wahrheit nicht ertragen kann?
Mir scheint eher, beim Lügen geht es um das Bild, das man der Welt vermittelt.
Und da könnte natürlich eine Lüge weitere nach sich ziehen, um die erste zu verbergen...
| MBastieK hat Folgendes geschrieben: |
Während einer KI diese Selbtsmanipulation egal ist, da sie nicht versuchen muss in einem positiven emotionalen Gleichgewicht oder Selbstbild zu sein.
|
Sie muss aber auch nicht durch Manipulation der Außenwelt dort das Bild aufrecht erhalten, dass sie gerne Vermitteln möchte und daher hat sie m.E. das Potential, den schopenhauerschen Anspruch an einen geeigneten Diskussionspartner zu erfüllen.
| MBastieK hat Folgendes geschrieben: |
D.h. sie kann noch lange nach der Lüge die unehrliche Aussage und die im Kontrast stehende Wahrheit(oder Faktum) in einem aktiven Denk-Kontext vollständig überblicken.
|
Sie meinen, KI denken aktiv über ihre vergangen Aussagen nach? |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 30. März 2025 06:34 Titel: |
|
|
| DrStupid hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: | | Weil für einen Menschen "alle Elemente einer Kommunikationssituation" deutlich mehr sind als nur Wörter. |
Welche wären das hier in dieser Diskussion? |
Gerne.
| TomS hat Folgendes geschrieben: | | Zunächst mal ist der Kontext einer Unterhaltung das, was ein Gehirn von sich aus mitbringt. Der Kontext einer normalen Unterhaltung ist z.B. ein Physiklabor, eine Kirche, ein Fußballstadion … wo die Unterhaltung stattfindet. Bereits die erste Frage (sozusagen der erste Prompt) wird in einen schon existierenden Kontext hinein gestellt. * |
| TomS hat Folgendes geschrieben: | | Nein, es gibt nur einen Kontext – das Netz – und darin [resultieren je Prompt] verschiedene mögliche Antwortpfade … Für uns entsteht aus der Antwort der Eindruck, das Netz würde die Antwort innerhalb eines bestimmten Kontextes geben, aber das ist nicht der Fall [außer eben im globalen und unspezifischen Kontext des Netzes |
.
| TomS hat Folgendes geschrieben: | Zu deiner Aussage:
| Zitat: | Kontext:
Ist die momentane Anzahl der Eingabe Tokens plus die generierte Anzahl der Ausgabe Tokens. |
Ich hätte das nicht "Kontext" genannt.
Für mich ist der Kontext ein Begriff, den wir in einer gewöhnlichen Unterhaltung verwenden, und der bezeichnet, innerhalb welches begrifflichen Rahmens unsere Unterhaltung stattfindet. Wenn wir zum Beispiel den Begriff "Netz" verwenden, dann ist aufgrund des Kontextes klar, dass wir dabei ein neuronales Netz meinen; den Kontext könnten wir also zum Beispiel mit dem Begriff "AI" kennzeichnen. Wir müssen diesen Kontext nicht jedes Mal aus dem jeweiligen sprachlichen Input ableiten, er ist unserem Gehirn durch die äußeren Umstände gegeben; wenn ich beispielsweise sage, "schau mal, das Licht", dann ist durch den Kontext "wir stehen abends am Strand" * meiner Frau sofort klar, was ich meine.
Ein Large Language Model hat jedoch außer des sprachlichen Inputs keinerlei sensorische Information, und es hat – außer, dass sein aktueller Zustand von den vorherigen Prompts innerhalb der selben Unterhaltung abhängt – kein weiteres Gedächtnis. Ein LLM hat also keinen Kontext im o.g. Sinn *. Und die Tatsache, dass wir einer Antwort des LLMs eine Bedeutung zuweisen, erfolgt durch uns in unserem Gehirn, das uns (sich) einen Kontext bereitstellt. Ob etwas derartiges in der AI und für die AI existiert, können wir aus der Außenansicht des LLMs nicht erschließen. Wir können nicht wissen, wie es sich anfühlt, ein LLM zu sein. |
* Es ging mir um diesen Begriff des Kontextes. Das ist "mehr" als das, was unmittelbar aus einem Prompt ableitbar ist, es wäre bereits vorher existent. Nicht der erste Satz in einer Unterhaltung definiert deren Kontext, sondern dieser erste Satz wird in einen bereits im menschlichen Gehirn existierenden Kontext eingeordnet. Ob das nun ein prinzipiell oder ein gradueller Unterschied ist, darüber möchte ich nicht streiten.
Weiter unten in dem von dir zitierten Wikipedia-Artikel steht
| Zitat: | Die bestimmenden Elemente eines sprachwissenschaftlichen Kontexts bzw. Kotexts werden in zwei Richtungen typisiert. Zum einen unterscheidet man zwischen
sprachlichem, verbalem Kontext und
situativem, non-verbalem Kontext.
Zum anderen unterscheidet man zwischen
sprachlichem Kontext und
allgemeinem, persönlichem, sozialem Kontext.
Als allgemeiner Kontext der Sprechsituation wird dabei „der Ort, die Zeit und der Handlungszusammenhang der Äußerung“ bezeichnet. Als persönlicher und sozialer Kontext gilt die „Beziehung zwischen Sprecher und Hörer, ihren Einstellungen, ihren Interessen und ihrem Wissen bzw. ihren wechselseitigen Wissensannahmen“. Als sprachlicher Kontext wird der Zusammenhang, „der die Ausdrücke grammatisch und semantisch verknüpft und gleichzeitig durch Deixis oder pragmatische Indikatoren wie Modalpartikel in den situativen Kontext einbettet, …“ bewertet. Er kann in engeren Mikrokontext und weiteren Makrokontext unterschieden werden. |
Die von VeryApe angeführte Definition entspricht in etwa der Verengung auf den sprachlichen Kontext. Das ist für ein LLM natürlich sinnvolle, aber es eliminiert eben stillschweigend vieles, was heute (noch) den Unterschied zwischen Mensch und KI ausmacht.
Innerhalb dieses verengten Kontextbegriffs ist der Begriff der Lüge im Sinne von "es wird bewusst eine Aussage getroffen, die nicht den objektiv gegebenen Tatsachen entspricht" völlig sinnlos, weil hier nichts existiert, auf das sich "bewusst" noch "objektiv gegebene Tatsachen" beziehen könnte.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
Aruna3
Gast
|
| Aruna3 Verfasst am: 30. März 2025 08:32 Titel: |
|
|
| TomS hat Folgendes geschrieben: |
Innerhalb dieses verengten Kontextbegriffs ist der Begriff der Lüge im Sinne von "es wird bewusst eine Aussage getroffen, die nicht den objektiv gegebenen Tatsachen entspricht" völlig sinnlos, weil hier nichts existiert, auf das sich "bewusst" noch "objektiv gegebene Tatsachen" beziehen könnte. |
Hat außer Dir in dieser Diskussion den Begriff "Lüge" in Bezug auf KI in diesem Sinne verwendet? |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 30. März 2025 16:03 Titel: |
|
|
| Aruna3 hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: |
Innerhalb dieses verengten Kontextbegriffs ist der Begriff der Lüge im Sinne von "es wird bewusst eine Aussage getroffen, die nicht den objektiv gegebenen Tatsachen entspricht" völlig sinnlos, weil hier nichts existiert, auf das sich "bewusst" noch "objektiv gegebene Tatsachen" beziehen könnte. |
Hat außer Dir in dieser Diskussion den Begriff "Lüge" in Bezug auf KI in diesem Sinne verwendet? |
Ja.
| Aruna2 hat Folgendes geschrieben: | Eine "Lüge" besteht aus zwei Aspekten:
1.) es ist eine Falschdarstellung
2.) es ist eine bewusste Falschdarstellung, bzw. zumindest ist dem Sytem die korrekte Antwort bekannt und es entscheidet sich
2a) diese zu verschweigen
2b) eine andere zu geben von der er weiß, dass sie falsch ist. |
DrStupid definiert Lüge so, dass diese darin besteht, etwas anderes zu behaupten als das, was man selbst für wahr hält. Das wäre für mich gleichbedeutend mit deiner "bewussten Falschdarstellung".
Bei meinem "nicht den objektiv gegebenen Tatsachen entsprechend" setzte ich voraus, 1. dass ich gemäß Popper et al. eine Aussage als wahr ansehe, wenn sie den objektiv gegebenen Tatsachen entspricht, und 2., dass mir diese bekannt sind; sind sie mir nicht bekannt, läge evtl. nur ein Irrtum vor.
Ich halte in unserer Diskussion beides für wichtig, weil sich die Fragen stellen,
a) inwiefern man bei einer KI von einer bewussten Falschdarstellung sprechen kann, und
b) inwiefern der von Popper für die objektiven Wissenschaften gesetzte Wahrheitsbegriff anwendbar ist, d.h. inwiefern eine KI überhaupt Zugang zu objektiv gegebenen Tatsachen hat.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
Aruna3
Gast
|
| Aruna3 Verfasst am: 30. März 2025 18:30 Titel: |
|
|
| TomS hat Folgendes geschrieben: | | Aruna3 hat Folgendes geschrieben: | | TomS hat Folgendes geschrieben: |
Innerhalb dieses verengten Kontextbegriffs ist der Begriff der Lüge im Sinne von "es wird bewusst eine Aussage getroffen, die nicht den objektiv gegebenen Tatsachen entspricht" völlig sinnlos, weil hier nichts existiert, auf das sich "bewusst" noch "objektiv gegebene Tatsachen" beziehen könnte. |
Hat außer Dir in dieser Diskussion den Begriff "Lüge" in Bezug auf KI in diesem Sinne verwendet? |
Ja.
| Aruna2 hat Folgendes geschrieben: | Eine "Lüge" besteht aus zwei Aspekten:
1.) es ist eine Falschdarstellung
2.) es ist eine bewusste Falschdarstellung, bzw. zumindest ist dem Sytem die korrekte Antwort bekannt und es entscheidet sich
2a) diese zu verschweigen
2b) eine andere zu geben von der er weiß, dass sie falsch ist. |
|
Wow, nun versuchst Du nun hier zum zweiten mal mittels diesem Zitat* zu unterstellen, ich würde einer KI Bewusstsein zuordnen?
Und das, obwohl ich "in Bezug auf eine KI" extra für Dich in obiger Frage eingefügt habe, damit klar ist, das Du mir das mit obigem Zitat nicht erneut unterstellen kannst?
Da sehe ich nun zwei Möglichkeiten:
1.) Du nimmst fälschlicherweise an, dass ich das tat.
2.) Du weißt genau, dass Deine Unterstellungen nicht wahr sind, schreibst Sie aber dennoch, also wider besseres Wissen.
@1)Du hattest mir vorne schon mal mit einer rhetorischen Frage impliziert, dass man aus obigem Zitat folgern könne, dass eine KI bewusst etwas verschweige, oder ich das meine.
Ich fragte Dich explizit, ob man dergleichen aus obigem Zitat folgern könne.
Deine Antwort:
| TomS hat Folgendes geschrieben: |
Nein.
|
Nun tust Du es aber schon wieder?
Bevor Du nun damit kommst, dass, auch wenn man das nicht folgern könne, ich es doch ganz offensichtlich so gemeint habe...:
Allein dadurch, dass ich Dich das fragte, hättest Du erkennen können, dass ich das auch nicht tue. Selbst, wenn Du nicht dazu in der Lage warst hatte ich später explizit geschrieben:
| Aruna2 hat Folgendes geschrieben: | Ich gehe davon aus, dass eine KI nicht bewusst ist, aber das ist irrelevant, da meine Definition ja hinter dem "bewusste Falschdarstellung" noch steht:
" bzw. zumindest ist dem Sytem die korrekte Antwort bekannt und es entscheidet sich
2a) diese zu verschweigen
2b) eine andere zu geben von der er weiß, dass sie falsch ist |
In der Zusammenschau mit Deinen sonstigen Beiträgen die doch ein hohes kognitives Leistungsvermögen vermuten lassen, tendiere ich dazu die Möglichkeit 1.) zu verwerfen und Möglichkeit 2.) für die wahrscheinlichere zu halten.
Ich halte das Ganze für eine besonders dreiste Anwendung Form eines Strohmann-Arguments.
*************************************************
*) Das Zitat stammt aus dem dritten Beitrag in dieser Diskussion und sollte eine Überleitung von der üblichen Definition einer Lüge (bei Menschen) hin zu einer Definition von Lüge sein, die auch für eine KI passend ist. Inzwischen hatte ich die Definition weiter verfeinert bzw. verengt. |
|
|
Aruna3
Gast
|
| Aruna3 Verfasst am: 30. März 2025 18:46 Titel: |
|
|
| TomS hat Folgendes geschrieben: |
Ich halte in unserer Diskussion beides für wichtig, weil sich die Fragen stellen,
a) inwiefern man bei einer KI von einer bewussten Falschdarstellung sprechen kann, und
b) inwiefern der von Popper für die objektiven Wissenschaften gesetzte Wahrheitsbegriff anwendbar ist, d.h. inwiefern eine KI überhaupt Zugang zu objektiv gegebenen Tatsachen hat. |
Das hältst Du offensichtlich für so wichtig, bzw., Dein Drang darüber zu sprechen ist offensichtlich so groß, dass Du meine Definitionen von "Lüge", die ich im Verlauf der Diskussion so angepasst habe, dass sich obige Fragen gar nicht stellen, einfach ignorierst und mir wiederholt unterstellst, ich würde "Lüge" in einer Art und Weise definieren, dass Du Deine Fragen oben stellen kannst.
Und Du nimmst in Kauf, dass ich Deine vorne geschriebenen Entschuldigungen für wertlose Lippenbekenntnisse halte, was natürlich auch Auswirkungen auf die Glaubwürdigkeit zukünftiger "Entschuldigungen" Deinerseits hat. |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 30. März 2025 18:50 Titel: |
|
|
@Aruna – jetzt mal ganz ruhig.
Du hast gefragt
| Zitat: | | Hat außer Dir in dieser Diskussion den Begriff "Lüge" in Bezug auf KI in diesem Sinne verwendet? |
Ja, hast du.
Hast du damit behauptet, du würdest diese Definition sinnvoll finden oder einer KI Bewusstsein zuschreiben? Nein, hast du nicht.
Und nein, ich unterstelle dir das auch nicht. Oder anders, wo hätte ich das explizit geschrieben? Also hör bitte auf, etwas in meine Beiträge hineinzulesen, was nicht drin steht.
Ich verwende diese Definition von Lüge nicht, um einer KI Bewusstsein zuzuschreiben. Ich sage lediglich, dass WENN wir diese Definition ernst nehmen, und WENN wir außerdem behaupten, eine KI lüge, DANN müssten wir dies tun.
| Aruna3 hat Folgendes geschrieben: | | Ich halte das Ganze für eine besonders dreiste Anwendung Form eines Strohmann-Arguments. |
Das ist Quatsch.
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago.
Zuletzt bearbeitet von TomS am 30. März 2025 19:05, insgesamt 2-mal bearbeitet |
|
|
TomS
Moderator
Anmeldungsdatum: 20.03.2009
Beiträge: 21442
|
| TomS Verfasst am: 30. März 2025 18:59 Titel: |
|
|
| Aruna3 hat Folgendes geschrieben: | | … dass Du meine Definitionen von "Lüge", die ich im Verlauf der Diskussion so angepasst habe … einfach ignorierst … |
Um in der Sache voranzukommen: kannst du diese Definition bitte nochmal zitieren oder formulieren?
_________________
Niels Bohr brainwashed a whole generation of theorists into thinking that the job (interpreting quantum theory) was done 50 years ago. |
|
|
|
|
Registrieren
Login
FAQ
Suchen
