Mind captioning: Τεχνολογία μετατρέπει τις σκέψεις σε κείμενο

Η αποκωδικοποίηση των σκέψεων δεν ανήκει πλέον στη σφαίρα της επιστημονικής φαντασίας. Ερευνητές στην Ιαπωνία ανέπτυξαν μια διερμηνευτική διεπαφή που μετατρέπει μοτίβα εγκεφαλικής δραστηριότητας σε κείμενο. Η τεχνολογία αυτή, όχι μόνο ανοίγει νέους δρόμους στην κατανόηση της λειτουργίας του εγκεφάλου, αλλά θα μπορούσε και να προσφέρει φωνή σε ανθρώπους που έχουν χάσει την ικανότητα επικοινωνίας.

Η τεχνολογία, που οι ερευνητές ονόμασαν «mind captioning» (υποτιτλισμός του νου), βασίζεται σε μια επαναληπτική διαδικασία βελτιστοποίησης, κατά την οποία ένα μοντέλο κρυπτογραφημένης γλώσσας (MLM) δημιουργεί περιγραφές κειμένου, συνδέοντας τα γλωσσικά χαρακτηριστικά με εκείνα που αποκωδικοποιούνται από τον εγκέφαλο. Για παράδειγμα, αν κάποιος φανταστεί ένα ηλιοβασίλεμα πάνω από τη θάλασσα, με πυκνά σύννεφα να κινούνται αργά στον ουρανό, οι επιστήμονες μπορούν να «διαβάσουν» τη σχετική εγκεφαλική δραστηριότητα και να δημιουργήσουν μια περιγραφή όπως:

«Σύννεφα κινούνται αργά πάνω από τη θάλασσα στο φως του ηλιοβασιλέματος».

Η μελέτη, που δημοσιεύθηκε στο περιοδικό Science Advances, δείχνει πώς το σύστημα αυτό μπορεί να δημιουργήσει ακριβείς, δομημένες προτάσεις που περιγράφουν αυτό που βιώνει κάποιος, αποκωδικοποιώντας πρώτα τα σημασιολογικά χαρακτηριστικά από σαρώσεις λειτουργικής μαγνητικής τομογραφίας (fMRI) και στη συνέχεια βελτιστοποιώντας επαναληπτικά τις προτάσεις με τη βοήθεια ενός γλωσσικού μοντέλου. Σε αντίθεση με προηγούμενες προσπάθειες που μπορούσαν να αναγνωρίσουν μόνο μεμονωμένα αντικείμενα ή να αντλήσουν δεδομένα από υπάρχουσες βάσεις, η νέα προσέγγιση παράγει πρωτότυπες περιγραφές που αποτυπώνουν όχι μόνο τι υπάρχει σε μια εικόνα, αλλά και πώς τα στοιχεία της αλληλεπιδρούν μεταξύ τους.

Από τη σκέψη στο κείμενο

Η τεχνολογία mind captioning συνδυάζει λειτουργική μαγνητική τομογραφία (fMRI) με μεγάλα γλωσσικά μοντέλα (όπως το ChatGPT), γεφυρώνοντας το χάσμα μεταξύ νευρωνικών μοτίβων και ανθρώπινης γλώσσας. Οι ερευνητές εκπαίδευσαν το σύστημα σε εγκεφαλικές σαρώσεις έξι ατόμων που παρακολούθησαν 2.196 σύντομα βίντεο, προκειμένου να διαπιστώσουν ποια πρότυπα εγκεφαλικής δραστηριότητας αντιστοιχούν σε συγκεκριμένους τύπους οπτικού περιεχομένου.

Το σύστημα δημιουργεί περιγραφές λέξη προς λέξη, βελτιστοποιώντας κάθε επιλογή ώστε να ευθυγραμμίζεται με την αναπαράσταση στον εγκέφαλο. Ξεκινώντας από το μηδέν, βελτιώνει επαναληπτικά τις περιγραφές μέσω 100 γύρων βελτιστοποίησης, δημιουργώντας σταδιακά προτάσεις που είναι πιο ακριβείς και λεπτομερείς.

Όταν δοκιμάστηκε σε νέα βίντεο που οι συμμετέχοντες δεν είχαν ξαναδεί, το σύστημα μπόρεσε να αναγνωρίσει το σωστό βίντεο από 100 επιλογές, με ακρίβεια περίπου 50%, βασιζόμενο αποκλειστικά σε περιγραφές που αποκωδικοποιήθηκαν από τον εγκέφαλο, ενώ η πιθανότητα να το πετύχει τυχαία ήταν μόλις 1%. Οι περιγραφές περιλάμβαναν ενέργειες και σχέσεις, όπως «άνθρωποι μιλούν ενώ άλλοι αγκαλιάζονται» ή «κάποιος πηδά πάνω από έναν καταρράκτη σε ένα βουνό».

Το σύστημα λειτούργησε ακόμη και όταν οι συμμετέχοντες απλώς φαντάζονταν, με κλειστά μάτια, τα βίντεο που είχαν δει νωρίτερα. Καταγράφοντας την εγκεφαλική τους δραστηριότητα κατά τη διάρκεια αυτών των συνεδριών νοερής απεικόνισης, οι ερευνητές κατάφεραν να δημιουργήσουν κατανοητές περιγραφές ακόμη και από μεμονωμένες δοκιμές σε ορισμένες περιπτώσεις, αν και τα αποτελέσματα διέφεραν μεταξύ των ατόμων. Αυτή η ικανότητα αποκωδικοποίησης τόσο της αντίληψης όσο και της φαντασίας δείχνει ότι το σύστημα αξιοποιεί τους θεμελιώδεις τρόπους με τους οποίους ο εγκέφαλος αναπαριστά το ουσιαστικό περιεχόμενο, ανεξάρτητα από το αν αυτό προέρχεται από τον εξωτερικό κόσμο ή από τη μνήμη.

Ο εγκέφαλος σκέφτεται χωρίς λέξεις

Μία από τις πιο εντυπωσιακές διαπιστώσεις της μελέτης αμφισβητεί την παραδοσιακή άποψη για το πώς ο εγκέφαλος επεξεργάζεται σύνθετες πληροφορίες. Ακόμη και όταν το γλωσσικό δίκτυο του εγκεφάλου «απενεργοποιήθηκε» πλήρως, το σύστημα συνέχισε να παράγει δομημένες περιγραφές και να πετυχαίνει ποσοστά αναγνώρισης κοντά στο 50% ανάμεσα σε 100 πιθανά σενάρια. Αυτό υποδηλώνει ότι πλούσια και δομημένη πληροφορία για τις οπτικές σκηνές είναι διασπαρμένη σε πολλές περιοχές του εγκεφάλου, ιδιαίτερα σε εκείνες που εμπλέκονται στην οπτική επεξεργασία και την κατανόηση των δράσεων. Αυτή η διαπίστωση έχει σημασία τόσο από επιστημονική άποψη όσο και για την κατανόηση καταστάσεων όπως η αφασία– μια νευρολογική κατάσταση που αφορά την αδυναμία κατανόησης ή παραγωγής προφορικού ή/και γραπτού λόγου, η οποία όμως δεν επηρεάζει τη νοημοσύνη του ατόμου.

Επανάσταση στην επικοινωνία

Η τεχνολογία αυτή θα μπορούσε να προσφέρει νέες δυνατότητες επικοινωνίας σε άτομα που έχουν χάσει την ικανότητα ομιλίας λόγω παθήσεων όπως η αφασία, η πλάγια μυατροφική σκλήρυνση (ALS) ή οι σοβαρές κινητικές αναπηρίες, Επειδή δεν εξαρτάται από τα γλωσσικά κέντρα, μπορεί να λειτουργήσει ακόμη και όταν αυτά έχουν υποστεί βλάβη.

Η εκπαίδευση του συστήματος απαιτεί εκτεταμένες σαρώσεις και χιλιάδες βίντεο για τη δημιουργία των αρχικών μοντέλων. Ωστόσο, μόλις εκπαιδευτεί, μπορεί να παράγει κατανοητές περιγραφές ακόμη και από μία μόνο μέτρηση, κάτι που δείχνει μεγάλες προοπτικές για πρακτικές εφαρμογές.

Το μέλλον και οι προκλήσεις

Παρά τις εντυπωσιακές επιδόσεις, υπάρχουν ακόμη περιορισμοί. Οι περιγραφές δεν αποτυπώνουν πλήρως την υποκειμενική εμπειρία, ενώ οι σαρώσεις fMRI καταγράφουν τη δραστηριότητα του εγκεφάλου σε διάστημα αρκετών δευτερολέπτων και όχι τις αλλαγές που συμβαίνουν από στιγμή σε στιγμή.

Οι ερευνητές προειδοποιούν ρητά για τους κινδύνους που αφορούν την ψυχική ιδιωτικότητα και ζητούν τη θέσπιση κανονισμών που θα προστατεύουν την αυτονομία και την ιδιωτικότητα του νου, καθώς η πρόοδος αυτών των τεχνολογιών θα μπορούσε να εγείρει ηθικά και νομικά ζητήματα. Αν και σήμερα η τεχνολογία απαιτεί πρόθυμους συμμετέχοντες και μεγάλη ποσότητα δεδομένων, μελλοντικές εξελίξεις ενδέχεται να μειώσουν σημαντικά αυτά τα εμπόδια.

ΠΗΓΗ: Studyfinds