Autor |
Nachricht |
Spitzbube Gast
|
Spitzbube Verfasst am: 28. Apr 2021 14:45 Titel: Shannon-Entropie |
|
|
Meine Frage:
Gegeben sei die Shannon Entropie: . Das entspricht der Anzahl an Bits um die Zahl Omega in binärem System darzustellen. Man erhalte eine Mail mit 512 Zeichen in UTF-8, also jedes zeichen hat 16 Bits, also hat man mögliche Zeichen. Annahme: Alle möglichen Mails gleich wahrscheinlich.
Wie viele verschiedene Nachrichten sind möglich?
Was ist die Obergrenze für S?
Meine Ideen:
Da an jeder der 512 Stellen einer Nachricht zeichen stehen können, sollte die anzahl der möglichen nachrichten sein.
Bei der Obergrenze für S muss ich ja das größtmögliche Omega angeben. Doch was ist das hier? 512, weils 512 Zeichen sind? 512*2^16, weils so viele 0 und 1 sind? Oder die Zahl an möglichen Nachrichten von oben?
Stimmt mein Ergebnis für den ersten Teil der Aufgabe und wie löse ich den zweiten? |
|
|
schnudl Moderator
Anmeldungsdatum: 15.11.2005 Beiträge: 6979 Wohnort: Wien
|
schnudl Verfasst am: 28. Apr 2021 18:48 Titel: |
|
|
Ich würde mal naiv sagen, dass die Anzahl der kodierbaren Nachrichten
beträgt. Wir haben ja Bits zur Verfügung.
Der maximale Informationsgehalt pro Zeichen liegt vor, wenn alle n Zeichen gleich wahrscheinlich sind:
Der gesamte Text hat dann einen Informationsgehalt von 256*16 = 4096 Bit _________________ Wenn du eine weise Antwort verlangst, musst du vernünftig fragen (Goethe) |
|
|
willyengland
Anmeldungsdatum: 01.05.2016 Beiträge: 679
|
willyengland Verfasst am: 28. Apr 2021 18:58 Titel: |
|
|
Man müsste auch erst mal genau feststellen, wieviel Zeichen man mit UTF-8 wirklich kodieren kann. Es gibt ja noch die Vorbits.
Als Maximum käme man dann auf . _________________ Gruß Willy |
|
|
schnudl Moderator
Anmeldungsdatum: 15.11.2005 Beiträge: 6979 Wohnort: Wien
|
schnudl Verfasst am: 28. Apr 2021 19:02 Titel: |
|
|
willyengland hat Folgendes geschrieben: | Man müsste auch erst mal genau feststellen, wieviel Zeichen man mit UTF-8 wirklich kodieren kann. Es gibt ja noch die Vorbits.
Als Maximum käme man dann auf . |
Ja, da steht aber
Zitat: | also jedes zeichen hat 16 Bits, also hat man... |
Hat mich bissl verwirrt...da kenn ich mich mit UTF-8 aber zu wenig aus. _________________ Wenn du eine weise Antwort verlangst, musst du vernünftig fragen (Goethe) |
|
|
Spitzbube Gast
|
Spitzbube Verfasst am: 28. Apr 2021 19:23 Titel: |
|
|
schnudl hat Folgendes geschrieben: | Ich würde mal naiv sagen, dass die Anzahl der kodierbaren Nachrichten
beträgt. Wir haben ja Bits zur Verfügung.
Der maximale Informationsgehalt pro Zeichen liegt vor, wenn alle n Zeichen gleich wahrscheinlich sind:
Der gesamte Text hat dann einen Informationsgehalt von 256*16 = 4096 Bit |
Danke, aber meinst du nicht 512, statt 256?
Ich kenne mich auch nicht mit UTF-8 aus, aber laut Angabe sollen wir so rechnen, dass jedes Zeichen 16 Bits hat |
|
|
Qubit
Anmeldungsdatum: 17.10.2019 Beiträge: 829
|
Qubit Verfasst am: 28. Apr 2021 20:20 Titel: |
|
|
Ja, meiner Meinung nach ist die Entropie für ein Text 512*16=8192 [bits/text]
Da Gleichverteilung für die Zeichen gilt, ist der Informationsgehalt je Zeichen:
Also Entropie für ein Zeichen:
Ein Text entspricht nun informationsmäßig einem 512-Zeichen Wort, und da die Zeichen da stochastisch unabhängig sind:
Wegen der Gleichverteilung ist das auch die maximale Entropie und entspricht der Codelänge.
Also Anzahl der Texte (Codelänge 2^13=8192 bits):
Da wiederum auch alle Texte stochastisch unabhängig sind bekommt man für alle Texte:
|
|
|
|
|