Η ικανότητα των υπολογιστών να αναλύουν, να κατανοούν και να παράγουν ομιλούμενη γλώσσα, έκανε ένα τεράστιο άλμα προς τα εμπρός το 2017, όταν ερευνητές της Google ανέπτυξαν νέα μοντέλα τεχνητής νοημοσύνης επεξεργασίας φυσικής γλώσσας (NLP) που ονομάζονται Transformers (μεταμορφωτές). Έκτοτε, ορισμένοι από αυτούς που δημιούργησαν και εκπαίδευσαν αυτά τα μοντέλα, ίδρυσαν την νεοφυή επιχείρηση Cohere με έδρα το Τορόντο, η οποία ανακοίνωσε έναν νέο γύρο χρηματοδότησης, ύψους 40 εκατομμυρίων δολαρίων.
Η τεχνολογία που διέπει τα μοντέλα επεξεργασίας φυσικής γλώσσας της Cohere αναπτύχθηκε αρχικά από την ομάδα Google Brain. Δύο από τα μέλη αυτής της ομάδας, ο Άινταν Γκομέζ και ο Νικ Φρόστ μαζί με έναν τρίτο συνιδρυτή, τον Ιβάν Ζανγκ, ίδρυσαν την Cohere πριν από δύο χρόνια για να αναπτύξουν περαιτέρω και να εμπορευματοποιήσουν τα μοντέλα αυτά, τα οποία παρέχονται στους πελάτες μέσω ενός API.
Η Cohere υποστηρίζεται από τον πρωτοπόρο των νευρωνικών δικτύων και νικητή του βραβείου Τούρινγκ, Τζόφρεϊ Χίντον, ο οποίος ήταν επικεφαλής της ομάδας Google Brain στο Τορόντο. «Τα πολύ μεγάλα γλωσσικά μοντέλα δίνουν πλέον στους υπολογιστές μια πολύ καλύτερη κατανόηση της ανθρώπινης επικοινωνίας», δήλωσε ο Χίντον στο Fast Company.
Τον τελευταίο χρόνο, οι επικριτές των μεγάλων μοντέλων NLP, τα οποία εκπαιδεύονται σε τεράστιες ποσότητες κειμένου από τον Παγκόσμιο Ιστό, έχουν εκφράσει ανησυχίες σχετικά με τους τρόπους με τους οποίους η τεχνολογία λαμβάνει ακούσια προκαταλήψεις που είναι εγγενείς στους ανθρώπους ή στις απόψεις αυτών των δεδομένων εκπαίδευσης. Οι κριτικές αυτές κέρδισαν έδαφος μετά την αμφιλεγόμενη απομάκρυνση της διάσημης ερευνήτριας Τεχνητής Νοημοσύνης, Τίμνιτ Γκεμπρού, από την Google, εν μέρει λόγω ενός εγγράφου που συνέγραψε αναλύοντας αυτούς τους κινδύνους. Ο διευθύνων σύμβουλος της Cohere, Άινταν Γκομέζ, λέει ότι η εταιρεία του έχει αναπτύξει νέα εργαλεία και έχει επενδύσει πολύ χρόνο για να διασφαλίσει ότι τα μοντέλα της Cohere δεν προσλαμβάνουν αυτού του είδους τα δεδομένα.
Καθώς η συζήτηση συνεχίζεται σχετικά με την ηθική αυτών των μοντέλων και τον τρόπο κατασκευής τους, η Cohere επικεντρώνεται στο να καταστήσει τα μοντέλα NLP πιο προσιτά σε εταιρείες πέραν των τεχνολογικών κολοσσών.
Ο Γκομέζ λέει ότι ένα από τα προβλήματα με τα μοντέλα Transformer είναι ότι απαιτούν τεράστιες ποσότητες δεδομένων εκπαίδευσης και υπολογιστικής ισχύος για να λειτουργήσουν. «Κανείς δεν μπορεί να έχει πρόσβαση σε αυτά τα υψηλής ποιότητας μοντέλα. Αυτοί που μπορούν, είναι αυτοί που έχουν πρόσβαση σε υπερυπολογιστές αξίας ενός τετάρτου δισεκατομμυρίου δολαρίων, άρα όλες οι μεγάλες εταιρείες FAANG (Facebook, Amazon, Apple, Netflix και Google)», λέει.
«Αυτό που θέλουμε να κάνουμε είναι να καλύψουμε το κόστος αυτού του υπερυπολογιστή και να δώσουμε πρόσβαση σε όλους αυτούς τους οργανισμούς που διαφορετικά δεν θα μπορούσαν να κατασκευάσουν προϊόντα ή χαρακτηριστικά με αυτή την τεχνολογία».
Για παράδειγμα, η Cohere παρέχει τη δυνατότητα NLP για την Ada, μια εταιρεία που δραστηριοποιείται στο χώρο των chatbot. Η Ada έχει πειραματιστεί με τα μοντέλα φυσικής γλώσσας της Cohere για την αντιστοίχιση των αιτημάτων συνομιλίας πελατών με τις διαθέσιμες πληροφορίες υποστήριξης. Αντί να προσπαθεί να προβλέψει όλες τις πιθανές διατυπώσεις ενός αιτήματος, το μοντέλο της Cohere προσπαθεί να κατανοήσει την πρόθεση πίσω από αυτό, λέει ο Γκομέζ.
Αυτή η κατανόηση της γλώσσας είναι το αποτέλεσμα σημαντικών εξελίξεων στην επεξεργασία φυσικής γλώσσας τα τελευταία πέντε χρόνια. Σε αρχιτεκτονικό επίπεδο, τα μοντέλα σχεδιάστηκαν για να αντλούν όχι μόνο τη σημασία μεμονωμένων λέξεων αλλά και τη σημασία των λέξεων στο πλαίσιο άλλων λέξεων, εξηγεί ο Γκομέζ.
Βασιζόμενοι σε αυτή την αρχιτεκτονική, μια διαφορετική ομάδα ερευνητών της Google ανέπτυξε έναν νέο τρόπο εκπαίδευσης των μοντέλων Transformer που ονομάζεται BERT (Bidirectional Encoder Representations from Transformers), ο οποίος χρησιμοποιείται πλέον για την κατανόηση των ερωτημάτων σε όλες σχεδόν τις λειτουργίες αναζήτησης της Google. Οι ερευνητές εκπαίδευσαν πρώτα το μοντέλο Transformer επιτρέποντάς του να επεξεργάζεται τεράστιες ποσότητες κειμένου από το διαδίκτυο. Στη συνέχεια, τροφοδότησαν πλήρεις προτάσεις με κάποιες λέξεις που είχαν σκόπιμα παραλειφθεί, και στη συνέχεια προκάλεσαν το μοντέλο να βρει τις καλύτερες λέξεις για να συμπληρώσει τα κενά. Ενώ αναζητά τη σωστή λέξη, το μοντέλο πρέπει να μάθει τις αποχρώσεις πολλών πιθανών υποψηφίων για να καταλήξει στην πιο πιθανή επιλογή. Αναζητώντας τις καλύτερες υποψήφιες λέξεις, το μοντέλο μαθαίνει εκπληκτικά πολλά για τις λέξεις και τα πράγματα και ιδέες που αντιπροσωπεύουν.
«Οι αναπαραστάσεις-η κωδικοποίηση του μοντέλου για τη σημασία και τα χαρακτηριστικά των λέξεων-που προκύπτουν είναι απίστευτα πλούσιες», λέει ο Γκομέζ, «επειδή ο σκοπός τους είναι να μπορούν να προβλέψουν αυτά τα κενά, οπότε πρέπει πραγματικά να κατανοήσουν ποιες είναι οι επιλογές».
Τα μοντέλα της Cohere έχουν κάποιες ομοιότητες με το μοντέλο NLP GPT-3, το οποίο σόκαρε πολλούς στον κλάδο, όταν κυκλοφόρησε πέρυσι, με την ικανότητά του να παράγει μεγάλα κείμενα που ακούγονταν συνεκτικά. Αυτό το μοντέλο, που αναπτύχθηκε από την OpenAI με έδρα το Σαν Φρανσίσκο, είναι αρχιτεκτονικά αρκετά παρόμοιο με τα μοντέλα της Cohere. Και τα δύο έχουν προ-εκπαιδευτεί χρησιμοποιώντας τεράστιες ποσότητες κειμένου από τον Παγκόσμιο Ιστό, και τα δύο παρέχονται μέσω ενός API (αν και η OpenAI παραχώρησε αποκλειστική άδεια στη Microsoft για τη χρήση και την τροποποίηση του υποκείμενου κώδικα του μοντέλου).
Υπάρχουν όμως και μεγάλες διαφορές. Το GPT-3 είναι ένα παραγωγικό μοντέλο που έχει σχεδιαστεί για να δημιουργεί κείμενο που κινείται από αριστερά προς τα δεξιά, με βάση μια προτροπή που παρέχει ο χρήστης – παρόμοια με μια εξαιρετικά ισχυρή λειτουργία αυτόματης συμπλήρωσης. Αλλά αυτή είναι μόνο μία από τις πολλές λειτουργίες φυσικής γλώσσας, λέει ο Γκομέζ. Η Cohere προσφέρει μια πλατφόρμα που περιέχει μια «πλήρη σειρά λειτουργιών NLP», συμπεριλαμβανομένης της ταξινόμησης συναισθημάτων, της απάντησης ερωτήσεων και της ταξινόμησης κειμένου.
Όπως έχουν επισημάνει οι επικριτές, ένα μειονέκτημα της εκπαίδευσης μοντέλων είναι ο κίνδυνος να μάθουν από πράγματα που δεν θα έπρεπε. Μαζί με την εισαγωγή προκαταλήψεων- όπως ξέρουμε πλέον ότι μπορεί να κάνει το GPT-3 επειδή εκπαιδεύτηκε σε κείμενο από το διαδίκτυο- τα μοντέλα μπορεί επίσης να αναπαράγει ψευδείς πληροφορίες που περιλαμβάνονται ακούσια στα δεδομένα εκπαίδευσης. Μια νέα ομάδα στο Στάνφορντ -υπό την εποπτεία του καθηγητή πληροφορικής Φέι-Φέι-Λι- μελετά τους κινδύνους που σχετίζονται με τεχνολογίες όπως η BERT και η GPT-3.
Για την αντιμετώπιση των κινδύνων, οι μηχανικοί της Cohere έχουν εφαρμόσει δοκιμές ποιοτικού ελέγχου για την αναζήτηση τυχόν προβλημάτων με το μοντέλο πριν από την κυκλοφορία, και η εταιρεία συνεχίζει να παρακολουθεί τα μοντέλα της και μετά την κυκλοφορία τους. Επιπλέον, θα δημοσιεύσει «δηλώσεις δεδομένων», οι οποίες θα περιλαμβάνουν πληροφορίες σχετικά με τα δεδομένα εκπαίδευσης, τους περιορισμούς τους και τυχόν κινδύνους – μια έννοια που έγινε πρώτη φορά δημοφιλής από την Γκεμπρού. Η Cohere δημιούργησε επίσης ένα ανεξάρτητο Συμβούλιο Ευθύνης, το οποίο θα βοηθήσει στην εποπτεία της ασφαλούς εφαρμογής της τεχνητής νοημοσύνης της εταιρείας. Η εταιρεία αρνήθηκε να μοιραστεί ποιοι θα συμμετέχουν στο συμβούλιο.
Ο Γκόμεζ λέει ότι η εταιρεία του θα χρησιμοποιήσει το ποσό που θα συγκεντρώσει για να αυξήσει τον αριθμό των υπαλλήλων της-ήδη απασχολεί 50 άτομα- και να επεκτείνει την πλατφόρμα NLP για να εξυπηρετήσει νέους κλάδους, όπως η υγειονομική περίθαλψη και οι χρηματοπιστωτικές υπηρεσίες.
ΠΗΓΗ: Fast Company
Κάνε like στη σελίδα μας στο Facebook
Ακολούθησε μας στο Twitter
Κάνε εγγραφή στο κανάλι μας στο Youtube
– Αναφέρεται ως πηγή το ertnews.gr στο σημείο όπου γίνεται η αναφορά.
– Στο τέλος του άρθρου ως Πηγή
– Σε ένα από τα δύο σημεία να υπάρχει ενεργός σύνδεσμος