Τον περασμένο Μάιο ξεκίνησε ένα πρωτότυπο εγχείρημα με στόχο να εντάξει την ανθρώπινη αξιολόγηση στη δημιουργία δεδομένων για πιο αξιόπιστα γλωσσικά μοντέλα στα ελληνικά. Τέσσερις μήνες αργότερα, η προσπάθεια έχει ήδη αποκτήσει μετρήσιμο αποτύπωμα. Στη σχετική πλατφόρμα Argilla, 81 αξιολογητές έχουν ελέγξει 32.869 εγγραφές σε 22 διαφορετικά σύνολα δεδομένων. Η πρωτοβουλία ανήκει στον Οργανισμό Ανοιχτών Τεχνολογιών – ΕΕΛΛΑΚ, έναν μη κερδοσκοπικό φορέα που προωθεί στην Ελλάδα το ελεύθερο λογισμικό, τα ανοικτά δεδομένα και τις ανοικτές τεχνολογίες
Τα δεδομένα δημιουργούνται και επιμελούνται μέσω του GlossAPI, μιας ανοιχτής υποδομής που έχει αναπτύξει η ΕΕΛΛΑΚ για τη δημιουργία, επεξεργασία και δημοσίευση ελληνικών συνόλων δεδομένων κατάλληλων για εφαρμογές Τεχνητής Νοημοσύνης. Το GlossAPI επεξεργάζεται και οργανώνει ελληνικά κείμενα ώστε να μπορούν να αξιοποιηθούν, μεταξύ άλλων, στην εκπαίδευση και την αξιολόγηση γλωσσικών μοντέλων.
Μέρος αυτών των δεδομένων αξιοποιείται στο Apertus, ένα ανοιχτό πολυγλωσσικό μεγάλο γλωσσικό μοντέλο που αναπτύσσεται στο πλαίσιο του Swiss AI Initiative, μια ελβετική πρωτοβουλία ανοιχτής επιστήμης και ανοιχτού κώδικα για την ανάπτυξη βασικών μοντέλων Τεχνητής Νοημοσύνης.
Στην πράξη, το μοντέλο παράγει ερωτήσεις και απαντήσεις με βάση συγκεκριμένα κείμενα αναφοράς. Στη συνέχεια παρεμβαίνει ο άνθρωπος. Ο αξιολογητής έχει μπροστά του την πηγή, την ερώτηση και την απάντηση που έχει δώσει το μοντέλο και καλείται να κρίνει εάν η απάντηση στηρίζεται πραγματικά στο κείμενο. Το ζητούμενο δεν είναι απλώς εάν μια διατύπωση ακούγεται σωστή ή πειστική, αλλά εάν είναι ακριβής, τεκμηριώνεται από την πηγή και αποδίδει σωστά το νόημά της.
Σχεδόν τέσσερις στις δέκα απαντήσεις χρειάστηκαν ανθρώπινη παρέμβαση
Τα μέχρι σήμερα στοιχεία δείχνουν πόσο ουσιαστικός είναι αυτός ο έλεγχος. Από τις 32.869 εγγραφές που αξιολογήθηκαν, 20.287 έγιναν αποδεκτές, 2.614 χρειάστηκαν επεξεργασία και 9.968 απορρίφθηκαν.
Αυτό σημαίνει ότι περίπου το 38% των απαντήσεων δεν πέρασε αυτούσιο τον ανθρώπινο έλεγχο. Σε περισσότερες από μία στις τρεις περιπτώσεις, δηλαδή, χρειάστηκε είτε διόρθωση είτε πλήρης απόρριψη της απάντησης του μοντέλου.
Εδώ βρίσκεται και το ουσιαστικότερο στοιχείο της διαδικασίας. Η ανθρώπινη αξιολόγηση δεν λειτουργεί ως μηχανική επικύρωση όσων παράγει ένα μοντέλο. Λειτουργεί ως φίλτρο ακρίβειας, τεκμηρίωσης και νοηματικής συνέπειας, εντοπίζοντας απαντήσεις που μπορεί να είναι γλωσσικά πειστικές αλλά δεν υποστηρίζονται επαρκώς από το κείμενο αναφοράς.
Η πρόοδος διαφέρει ανά θεματική ενότητα. Επτά σύνολα δεδομένων έχουν ήδη αξιολογηθεί στο σύνολό τους, ενώ στην Ιστορία η διαδικασία έχει φτάσει στο 87,7%, στη Φιλοσοφία στο 46,7% και στο Νομικό περιεχόμενο στο 44,4%. Μεγάλα σύνολα δεδομένων παραμένουν ακόμη ανοιχτά και θα χρειαστούν περισσότερες αξιολογήσεις για να ολοκληρωθούν.
Για τη συμμετοχή δεν απαιτείται τεχνική εξειδίκευση στην Τεχνητή Νοημοσύνη. Χρειάζεται καλή γνώση της ελληνικής γλώσσας, προσεκτική ανάγνωση και γλωσσικό κριτήριο. Οι αξιολογητές λαμβάνουν οδηγίες ανάλογα με το είδος του συνόλου δεδομένων που επεξεργάζονται.
Η προσπάθεια δεν αφορά μόνο τη βελτίωση ενός συγκεκριμένου μοντέλου. Τα σύνολα δεδομένων που δημιουργούνται στο GlossAPI δημοσιεύονται με ανοιχτές άδειες, ώστε να μπορούν να επαναχρησιμοποιηθούν και από άλλους ερευνητές και οργανισμούς.
Το μέχρι σήμερα αποτέλεσμα δείχνει πόσο κρίσιμη παραμένει η ανθρώπινη εποπτεία. Από τη στιγμή που σχεδόν τέσσερις στις δέκα απαντήσεις χρειάστηκαν διόρθωση ή απορρίφθηκαν, η αξιολόγηση δεν αποτελεί συμπληρωματικό στάδιο, αλλά βασικό μέρος της διαδικασίας για τη δημιουργία πιο αξιόπιστων ελληνικών γλωσσικών δεδομένων.
Οι ενδιαφερόμενοι μπορούν να δηλώσουν συμμετοχή μέσω της φόρμας της ΕΕΛΛΑΚ:
https://opensource.ellak.gr/register-argilla-glossapi-gr/
Κάνε like στη σελίδα μας στο Facebook
Ακολούθησε μας στο Twitter
Κάνε εγγραφή στο κανάλι μας στο Youtube
Γίνε μέλος στο κανάλι μας στο Viber
– Αναφέρεται ως πηγή το ertnews.gr στο σημείο όπου γίνεται η αναφορά.
– Στο τέλος του άρθρου ως Πηγή
– Σε ένα από τα δύο σημεία να υπάρχει ενεργός σύνδεσμος
