Πληροφορική Εντροπία

Πληροφορική Εντροπία

Information Entropy

Η εντροπία στη θεωρία της Πληροφορίας είναι ένα "μέτρο αβεβαιότητας" που διακατέχει ένα σύστημα.

Γενικά

Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη Θερμοδυναμική.

Στη θεωρία της πληροφορίας εισήχθη από τον Shannon το 1938 και για αυτό τον λόγο ονομάζεται και εντροπία Shannon. Επιπλέον η εντροπία της Θερμοδυναμικής μπορεί να θεωρηθεί ως εφαρμογή της εντροπίας στη θεωρία της Πληροφορίας.

Ορισμός

Έστω ένα Πείραμα Τύχης με n πιθανά αποτελέσματα.

Θεωρούμε την Τυχαία Μεταβλητή X και τα απλά ενδεχόμενα x₁...x_n που πραγματοποιούνται με πιθανότητες p₁...p_n $(\sum_{i=1}^np_i=1)$ αντίστοιχα.

Η εντροπία ορίζεται ως:

$H(X)=\sum_{i=1}^np_i\log_2 \left(\frac{1}{p_i}\right)=-\sum_{i=1}^np_i\log_2 p_i,$

με την σύμβαση $0\log_20=0$.

Δοκιμή Bernoulli

Έστω μία δοκιμή Bernoulli με πιθανότητα επιτυχίας p.

Συγκεκριμένα μπορούμε να θεωρήσουμε ένα δοχείο με Ν μπάλες, Νp από τις οποίες είναι άσπρες και Ν(1-p) μαύρες από το οποίο επιλέγουμε τυχαία μία μπάλα.

Αν όλες οι μπάλες είναι λευκές ή όλες είναι μαύρες (p = 1 ή p = 0 αντίστοιχα), τότε ξέρουμε με βεβαιότητα το αποτέλεσμα του πειράματος και η εντροπία είναι 0.

Τη μέγιστη αβεβαιότητα για το αποτέλεσμα προκύπτει όταν οι μισές μπάλες είναι λευκές και οι μισές μαύρες, p = 0,5.

Ισοπίθανα γεγονότα

'Εστω η τυχαία μεταβλητή Χ μπορεί να πάρει n τιμές που είναι ισοπίθανες μεταξύ τους, p=1/n.

Η εντροπία τότε είναι:

$H(X)=-\sum_{i=1}^n\frac1n\log_2\frac1n=\log_2n$.

Παρατηρούμε ότι η εντροπία αυξάνει με τον αριθμό των καταστάσεων.

Εσωτερική Αρθρογραφία

• Εντροπία
• [[ ]]

Ιστογραφία

• Ομώνυμο άρθρο στην Βικιπαίδεια
• Ομώνυμο άρθρο στην Livepedia
• Ομώνυμο άρθρο στην Astronomia
• [ ]
• [ ]

Κίνδυνοι Χρήσης

Αν και θα βρείτε εξακριβωμένες πληροφορίες σε αυτήν την εγκυκλοπαίδεια ωστόσο, παρακαλούμε να λάβετε σοβαρά υπ' όψη ότι η "Sciencepedia" δεν μπορεί να εγγυηθεί, από καμιά άποψη, την εγκυρότητα των πληροφοριών που περιλαμβάνει. "Οι πληροφορίες αυτές μπορεί πρόσφατα να έχουν αλλοιωθεί, βανδαλισθεί ή μεταβληθεί από κάποιο άτομο, η άποψη του οποίου δεν συνάδει με το "επίπεδο γνώσης" του ιδιαίτερου γνωστικού τομέα που σας ενδιαφέρει." Πρέπει να λάβετε υπ' όψη ότι όλα τα άρθρα μπορεί να είναι ακριβή, γενικώς, και για μακρά χρονική περίοδο, αλλά να υποστούν κάποιο βανδαλισμό ή ακατάλληλη επεξεργασία, ελάχιστο χρονικό διάστημα, πριν τα δείτε. Επίσης, Οι διάφοροι "Εξωτερικοί Σύνδεσμοι (Links)" (όχι μόνον, της Sciencepedia αλλά και κάθε διαδικτυακού ιστότοπου (ή αλλιώς site)), αν και άκρως απαραίτητοι, είναι αδύνατον να ελεγχθούν (λόγω της ρευστής φύσης του Web), και επομένως είναι ενδεχόμενο να οδηγήσουν σε παραπλανητικό, κακόβουλο ή άσεμνο περιεχόμενο. Ο αναγνώστης πρέπει να είναι εξαιρετικά προσεκτικός όταν τους χρησιμοποιεί.

- Μην κάνετε χρήση του περιεχομένου της παρούσας εγκυκλοπαίδειας
αν διαφωνείτε με όσα αναγράφονται σε αυτήν

---

>>Διαμαρτυρία προς την wikia<<

- Όχι, στις διαφημίσεις που περιέχουν απαράδεκτο περιεχόμενο (άσεμνες εικόνες, ροζ αγγελίες κλπ.)

---