| Autor |
Nachricht |
Spitzbube
Gast
|
 Spitzbube Verfasst am: 28. Apr 2021 14:45 Titel: Shannon-Entropie |
 |
|
Meine Frage:
Gegeben sei die Shannon Entropie: }{ln(2)}) . Das entspricht der Anzahl an Bits um die Zahl Omega in binärem System darzustellen. Man erhalte eine Mail mit 512 Zeichen in UTF-8, also jedes zeichen hat 16 Bits, also hat man  mögliche Zeichen. Annahme: Alle möglichen Mails gleich wahrscheinlich.
Wie viele verschiedene Nachrichten sind möglich?
Was ist die Obergrenze für S?
Meine Ideen:
Da an jeder der 512 Stellen einer Nachricht zeichen stehen können, sollte die anzahl der möglichen nachrichten ^{512}) sein.
Bei der Obergrenze für S muss ich ja das größtmögliche Omega angeben. Doch was ist das hier? 512, weils 512 Zeichen sind? 512*2^16, weils so viele 0 und 1 sind? Oder die Zahl an möglichen Nachrichten von oben?
Stimmt mein Ergebnis für den ersten Teil der Aufgabe und wie löse ich den zweiten? |
|
 |
schnudl
Moderator
Anmeldungsdatum: 15.11.2005
Beiträge: 6979
Wohnort: Wien
|
| schnudl Verfasst am: 28. Apr 2021 18:48 Titel: |
|
|
Ich würde mal naiv sagen, dass die Anzahl der kodierbaren Nachrichten
^256 = 2^{16\cdot 256})
beträgt. Wir haben ja  Bits zur Verfügung.
Der maximale Informationsgehalt pro Zeichen liegt vor, wenn alle n Zeichen gleich wahrscheinlich sind:
= -\sum_{i=1}^{2^16} 1/2^{16}\cdot ld(1/2^{16})=16)
Der gesamte Text hat dann einen Informationsgehalt von 256*16 = 4096 Bit
_________________
Wenn du eine weise Antwort verlangst, musst du vernünftig fragen (Goethe) |
|
|
willyengland
Anmeldungsdatum: 01.05.2016
Beiträge: 676
|
| willyengland Verfasst am: 28. Apr 2021 18:58 Titel: |
|
|
Man müsste auch erst mal genau feststellen, wieviel Zeichen man mit UTF-8 wirklich kodieren kann. Es gibt ja noch die Vorbits.
Als Maximum käme man dann auf  .
_________________
Gruß Willy |
|
|
schnudl
Moderator
Anmeldungsdatum: 15.11.2005
Beiträge: 6979
Wohnort: Wien
|
| schnudl Verfasst am: 28. Apr 2021 19:02 Titel: |
|
|
| willyengland hat Folgendes geschrieben: | Man müsste auch erst mal genau feststellen, wieviel Zeichen man mit UTF-8 wirklich kodieren kann. Es gibt ja noch die Vorbits.
Als Maximum käme man dann auf . |
Ja, da steht aber
| Zitat: | | also jedes zeichen hat 16 Bits, also hat man... |
Hat mich bissl verwirrt...da kenn ich mich mit UTF-8 aber zu wenig aus.
_________________
Wenn du eine weise Antwort verlangst, musst du vernünftig fragen (Goethe) |
|
|
Spitzbube
Gast
|
| Spitzbube Verfasst am: 28. Apr 2021 19:23 Titel: |
|
|
| schnudl hat Folgendes geschrieben: | Ich würde mal naiv sagen, dass die Anzahl der kodierbaren Nachrichten
beträgt. Wir haben ja Bits zur Verfügung.
Der maximale Informationsgehalt pro Zeichen liegt vor, wenn alle n Zeichen gleich wahrscheinlich sind:
Der gesamte Text hat dann einen Informationsgehalt von 256*16 = 4096 Bit |
Danke, aber meinst du nicht 512, statt 256?
Ich kenne mich auch nicht mit UTF-8 aus, aber laut Angabe sollen wir so rechnen, dass jedes Zeichen 16 Bits hat |
|
|
Qubit
Anmeldungsdatum: 17.10.2019
Beiträge: 829
|
| Qubit Verfasst am: 28. Apr 2021 20:20 Titel: |
|
|
Ja, meiner Meinung nach ist die Entropie für ein Text 512*16=8192 [bits/text]
Da Gleichverteilung für die Zeichen gilt, ist der Informationsgehalt je Zeichen:
 = -ld(p_n) = ld(2^{16})=16 \;{[bits]})
Also Entropie für ein Zeichen:
 = ld(2^{16})=16 \;{[bits/zeichen]})
Ein Text entspricht nun informationsmäßig einem 512-Zeichen Wort, und da die Zeichen da stochastisch unabhängig sind:
Wegen der Gleichverteilung ist das auch die maximale Entropie und entspricht der Codelänge.
Also Anzahl der Texte (Codelänge 2^13=8192 bits):
Da wiederum auch alle Texte stochastisch unabhängig sind bekommt man für alle Texte:
 |
|
|
|
|
Registrieren
Login
FAQ
Suchen