13 Αυγ 2008

Εισαγωγή στη θεωρία της πληροφορίας και εντροπία


Είδαμε πως η ζωή μπορεί να θεωρηθεί σαν μία διαδικασία πρόσληψης ελεύθερης ενέργειας από το περιβάλλον, με τη μορφή λόγου χάρη θερμότητας από τον ήλιο και μετατροπή αυτής της ενέργειας σε ωφέλιμο έργο, μειώνοντας την εντροπία της.



Η ζωή βέβαια για να καταφέρει να κανονίσει τις λειτουργίες και τις διαδικασίες της με τρόπο οργανωμένο (η τάξη μειώνει την εντροπία) και να βρίσκεται σε μία όσο το δυνατό συχνότερα κατάσταση ομοιόστασης (θερμοδυναμικής ισορροπίας), θα πρέπει να περιέχει όλους τους απαραίτητους κώδικες- πληροφορίες για να κάνει κάτι τέτοιο. Θα λέγαμε μάλιστα όχι τόσο πληροφορίες, όσο τη δυνατότητα επιλογής από ένα ευρύ φάσμα δεδομένων. Φαίνεται δηλαδή πως η ζωή προκύπτει και οργανώνεται μέσα από ένα σύνολο αρχικών δυνατοτήτων- πιθανοτήτων, επομένως θα πρόκειται για ένα στατιστικό σύνολο πληροφοριών και η ζωή θα είναι το επιστέγασμα μιας πιθανοκρατικής διαδικασίας.



Η εντροπία ως έννοια έρχεται τώρα να διεισδύσει όχι μόνο στις διαδικασίες και τη σημασία του φαινομένου της ζωής, αλλά και σε αυτό που ονομάζουμε πληροφορία. Γιατί; Επειδή εντροπία ονομάζουμε μία συνάρτηση του πλήθους των πιθανών μικροκαταστάσεων ενός συστήματος (ορισμός κατά Boltzmann, ο οποίος γενικεύτηκε από τον Gibbs). Τι σχέση έχει όμως η πληροφορία και η εντροπία; Αν η πληροφορία προκύπτει κι αυτή από ένα στατιστικό σύνολο δεδομένων, τότε θα μπορούσαμε να την κατανοήσουμε μέσω της έννοιας της εντροπίας.



Ο πρώτος που συνειδητοποίησε τη σχέση ανάμεσα στην εντροπία και στην πληροφορία ήταν ο Shannon. Κατά τον Shannon, η εντροπία της πληροφορίας (information entropy) ή απλώς εντροπία, είναι ένα μέτρο της ποσότητας πληροφορίας που περιέχεται σ' ένα μήνυμα. Όπως δηλαδή κατά την κλασσική έννοια η εντροπία αποτελεί ένα μέτρο του πλήθους των πιθανών μικροκαταστάσεων ενός συστήματος, η εντροπία κατά τη θεωρία της πληροφορίας (information theory) αποτελεί ένα μέτρο του πλήθους των πιθανών 'μεταφράσεων' που περιέχει ένα μήνυμα. Γι' αυτό άλλωστε η εντροπία κατά Shannon έχει ως μονάδες bits (στο δυαδικό σύστημα).



Θα χρησιμοποιήσω σε αυτό το σημείο ένα παράδειγμα για να γίνει η έννοια πιο κατανοητή. Ας θεωρήσουμε την περίπτωση στριψίματος ενός νομίσματος. Τα πιθανά αποτελέσματα είναι δύο. Κορώνα ή γράμματα. Σε κάθε ρίψη στην περίπτωση ενός κανονικού νομίσματος η πιθανότητα να έρθει κορώνα είναι ίση με την πιθανότητα να έρθει γράμματα και ίση με 1/2 (50% δηλαδή) . Κάθε ρίψη αντιστοιχεί και σε ένα bit πληροφορίας. Σε αυτήν την περίπτωση η εντροπία είναι μέγιστη, αφού και η αβεβαιότητα είναι μέγιστη, και περιέχεται η μέγιστη δυνατή ποσότητα πληροφορίας στο μήνυμα (ρίψη του νομίσματος). Αν το νόμισμα ήταν κίβδηλο, τότε θα έφερνε διαρκώς π.χ. κορώνα, η πιθανότητα θα ήταν 1 (100%), η αβεβαιότητα ανύπαρκτη και η εντροπία μηδενική [1]. Βλέπουμε δηλαδή ένα ενδιαφέρον χαρακτηριστικό της εντροπίας: Είναι μέγιστη όταν οι πιθανότητες είναι ίσες και τότε το μήνυμα εμπεριέχει τη μέγιστη δυνατή ποσότητα πληροφορίας (ή το μέγιστο δυνατό ρυθμό μετάδοσής της).



Η προσέγγιση της εντροπίας ως ποσότητα πληροφορίας αποκτά εξαιρετικό ενδιαφέρον αν μάλιστα κάποιος σκεφτεί τις προεκτάσεις που μπορεί να έχει στη σύγχρονη επιστήμη. Εδώ και καιρό για παράδειγμα η κοσμολογία και η κβαντική φυσική προσπαθούν να βρουν ένα κοινό σημείο επαφής ώστε να ενοποιηθούν σε μία και μοναδική θεωρία του σύμπαντος. Οι μαύρες οπές (σε συνδυασμό ίσως με τη θεωρία των χορδών) προσφέρουν ένα πρώτο υλικό προς αυτήν την κατεύθυνση. Οι μαύρες οπές έχουν εντροπία. Η εντροπία τους αυξάνεται διαρκώς στο βαθμό που καταπίνουν ύλη (κι επομένως κωδικοποιημένη στην ύλη πληροφορία). Ο ορίζοντας συμβάντος της μαύρης οπής είναι ακριβώς η περιοχή πίσω από την οποία υπάρχει όλη αυτή η κρυμμένη πληροφορία. Επομένως η εντροπία της μαύρης οπής σχετίζεται με την ποσότητα πληροφορίας που περιέχει η μαύρη οπή και η οποία πληροφορία για εμάς είναι απροσπέλαστη. Από κει και ύστερα αναλαμβάνει η ολογραφική αρχή, η οποία λέει πως οτιδήποτε υπάρχει μέσα στον όγκο πίσω από τον ορίζοντα συμβάντων, μπορεί να αναπαραχτεί από μία θεωρία που μελετάει ό,τι βρίσκεται στο εμβαδό που περικλείει αυτήν την περιοχή (φανταστείτε μια σφαίρα που ό,τι θέλουμε να μάθουμε γι' αυτήν μπορούμε να το εξάγουμε από την επιφάνειά της). Μήπως λοιπόν οι μαύρες οπές είναι γιγάντιες αποθήκες πληροφοριών; Μήπως η ύλη δεν είναι τίποτε άλλο από κάποιους συγκεκριμένους συνδυασμούς (κβαντικών) μικροκαταστάσεων, στις οποίες μάλιστα τυχαίνει να μεγιστοποιείται η εντροπία; Μήπως η ίδια η ζωή είναι ένα σύνολο μικροκαταστάσεων- πληροφοριών και υπόκειται στους κανόνες της εντροπίας;



Η θεωρία του Shannon είναι πράγματι εξαιρετικά σημαντική και χρειάζεται πολύ μελέτη για να γίνει κατανοητή, αφού η εντροπία είναι από τις δυσκολότερες και πιο αφηρημένες έννοιες. Ωστόσο, προσωπικά θα ήθελα να ρίξω περισσότερο το βάρος στη σχέση της εντροπίας και της πληροφορίας με αυτό που ονομάζουμε ζωή. Στο προηγούμενο post αναφέρθηκα στην προσέγγιση της ζωής ως διαδικασία παραγωγής αρνητικής εντροπίας. Σε αυτό το post είδαμε πως η εντροπία είναι ποσότητα πληροφορίας (πιο σωστά δυνατότητα πληροφορίας από μία ποσότητα δεδομένων). Συνδέοντας τις δύο προηγούμενες προτάσεις καταλήγουμε στο συμπέρασμα πως η ζωή δεν είναι τίποτε άλλο από ένα (οργανωμένο) σύνολο πληροφοριών, τέτοιο ώστε μέσα από μία αρχική κατάσταση μέγιστης εντροπίας (πολλών και ίσων πιθανών συνδυασμών), να οδεύει προς μία κατάσταση ελάχιστης εντροπίας, μέσω της οργάνωσης, του μεταβολισμού, της αναπαραγωγής και της παραγωγής αν θέλετε νοήμονων (επομένως οργανωμένων) σκέψεων. Βλέπουμε δηλαδή πως η ζωή από τη φύση της είναι νοήμονη, αφού περιέχει τους απαραίτητους κώδικες με τη μορφή είτε γονιδίων είτε φυσικών ιδιοτήτων (αδράνεια, φόρτιση, πόλωση, κοκ.). Από την άλλη πλευρά και η νοημοσύνη εμπεριέχει τη ζωή, αφού έχει την ικανότητα να επιλέγει και να οργανώνει τις (ισοδύναμες ή όχι) πιθανότητες που τις προσφέρονται. Θεωρώ πως καταλήξαμε σε ένα αν μη τι άλλο... ολοζώντανο και νοήμον πόρισμα για τη ζωή και το σύμπαν. Το σύμπαν γεννήθηκε ευθύς εξαρχής 'φέρον την πληρότητα', έχοντας δηλαδή μέσα του την απαραίτητη πληροφορία για την εξέλιξή του. Επομένως το σύμπαν ήταν ανέκαθεν νοήμον και ζωντανό. Σημασία δεν έχει τόσο η μορφή της ζωής ή της νοημοσύνης, όσο το γεγονός ότι η ζωή και η νοημοσύνη υπήρξαν συμπληρωματικές και σύμφυτες προοπτικές του σύμπαντος. Η εντροπία είναι η κοινή έννοια κλειδί.




Παραπομπές:


Μια εισαγωγή στη θεωρία της πληροφορίας και την εντροπία, του Tom Carter, η οποία περιέχει κι ένα πολύ ωραίο παράδειγμα εφαρμογής στο γονιδίωμα: An introduction to information theory and entropy.


Το πρωτότυπο κείμενο του Shannon: A Mathematical Theory of Communication.



ΥΣ. 1 Για την πληρέστερη δομή του κειμένου και λόγους σύγκρισης παραθέτω τους δύο τύπους για την εντροπία, κατά Gibbs (θερμοδυναμική εντροπία) και κατά Shannon (πληροφορική εντροπία) αντίστοιχα:

S = kln(1/p)
H = Kln(1/p).

Βλέπουμε ότι η ομοιότητα είναι κάτι παραπάνω από εμφανής. Το k (ή K) είναι μία σταθερή αναλογίας. Ο λογάριθμος υπάρχει ώστε η συνάρτηση να έχει κάποιες επιθυμητές ιδιότητες (π.χ. προσθετικότητα). Το p εκφράζει την πιθανότητα (να εμφανιστεί ένας συγκεκριμένος συνδυασμός πληροφορίας. Υπόψη δεν είναι όλοι οι συνδυασμοί πληροφορία. Υπάρχουν συνδυασμοί με εντροπία μηδέν κι επομένως με μηδενική ποσότητα πληροφορίας).


ΥΣ. 2 Θα μπορούσα να αναλύσω τη φωτογραφία του post (σχετική με έναν κλάδο της πληροφορικής που ονομάζεται cybernetics και στον οποίον εμπλέκεται τόσο η θεωρία της πληροφορίας του Shannon όσο και η έννοια της πληροφορικής εντροπίας). Στη φωτογραφία βλέπουμε τέσσερις ανθρώπους με κουκούλες στα πρόσωπα, σαν να λέμε ότι είναι ισοδύναμοι. Αν θεωρήσουμε πως αυτοί οι άνθρωποι αντιστοιχούν σε στοιχεία ενός χώρου πιθανοτήτων, στοιχεία δηλαδή ενός στατικού συνόλου, τότε οι κουκούλες υπονοούν τη 'μη διακριτότητά' τους κι επομένως τις ίσες πιθανότητες όλων των συνδυασμών τους. Οι τέσσερις άνθρωποι λοιπόν (όπως είπαμε τέσσερα στοιχεία ή 'άτομα' σε ένα στατιστικό χώρο φάσεων), μπορούν να βρεθούν μαζί (θα λέγαμε όλοι σ' ένα κουτί) ή ανά δύο σε δύο διαφορετικά κουτιά ή ένας και τρεις ή ένας-ένας-τρεις ή τελικά ο καθένας μόνος του και σε διαφορετική θέση (την οποία καλέσαμε 'κουτάκι' σε ένα στατιστικό χώρο). Χρησιμοποιώντας τον τύπο της εντροπίας, αποδεικνύεται πως η εντροπία είναι μηδενική όταν και οι τέσσερις είναι μαζί, αυξάνεται καθώς διαμοιράζονται σε διαφορετικές θέσεις- κουτάκια και γίνεται μέγιστη όταν ο καθένας καταλαμβάνει και ξεχωριστή θέση. Μήπως αυτό το γεγονός υποδεικνύει ένα γενικότερο φαινόμενο της ζωής να μας 'έχει χωριστά', αφού τότε μεγιστοποιείται η εντροπία επομένως και η πληροφορία (οπότε και η δυνατότητα ανάπτυξης νοημοσύνης) που υπάρχει μέσα στη συγκεκριμένη 'κοινωνική κατανομή'; Μήπως, εφόσον η εντροπία μεγιστοποιείται στις ίσες πιθανότητες, από όλα τα πολιτεύματα η δημοκρατία ταιριάζει καλύτερα στη φύση; Άραγε γι' αυτό όταν μένουμε μόνοι τρέχουμε στην παρέα για να μειώσουμε την εντροπία, αλλά πλέον όταν κάτσουμε 'σ' ένα κουτί όλοι μαζί', η εντροπία μηδενίζεται και η σκέψη μας (μέσω της πρόσληψης πληροφοριών) ακυρώνεται; Θεωρώ πως οι σκέψεις μου δεν τα πάνε καθόλου άσχημα. Αν μη τι άλλο βρήκα ίσως το ισχυρότερο άλλοθι για να δικαιολογήσω την απέραντη και βαθύτερη του κόσμου μοναξιά...