Παρότι η εξέλιξη των συστημάτων τεχνητής νοημοσύνης δεν δείχνει σημάδια επιβράδυνσης, αυξάνεται η ανησυχία ότι τα μεγάλα γλωσσικά μοντέλα (LLMs) σύντομα θα ξεμείνουν από ανθρώπινα δεδομένα για να εκπαιδευτούν.
Όταν συμβεί αυτό, οι επιστήμονες εκτιμούν ότι τα μοντέλα AI θα αρχίσουν να βασίζονται όλο και περισσότερο σε συνθετικές πληροφορίες που έχουν δημιουργηθεί από άλλα AI. Αυτό θα μπορούσε να οδηγήσει σε ένα φαινόμενο που ονομάζεται «κατάρρευση μοντέλου» (model collapse), όπου τα LLMs παράγουν ασυναρτησίες και τα συστήματα AI που βασίζονται σε αυτά δίνουν λανθασμένες απαντήσεις ή εμφανίζουν πολύ περισσότερες «παραισθήσεις» (hallucinations) σε σχέση με σήμερα.
«Αυτό είναι ιδιαίτερα ανησυχητικό, δεδομένου ότι ορισμένοι ειδικοί πιστεύουν πως τα υψηλής ποιότητας ανθρώπινα δεδομένα μπορεί να εξαντληθούν μέχρι το τέλος της χρονιάς. Αν στηρίζεσαι αποκλειστικά σε συνθετικά δεδομένα, ενώ υπάρχει μια σχεδόν υπαρξιακή απειλή ότι θα καταστρέψουν το AI σου, τότε υπάρχει σοβαρό πρόβλημα», δήλωσε στο Live Science ο Γιασέρ Ρούντι, καθηγητής αποδιοργανωμένων συστημάτων στο Τμήμα Μαθηματικών του King's College London (KCL).
«Αν, για παράδειγμα, χρησιμοποιούνταν LLMs σε νοσοκομεία για την ανάλυση εγκεφαλικών σαρώσεων και τον εντοπισμό καρκίνου, μια κατάρρευση μοντέλου κατά την εκπαίδευση θα μπορούσε να οδηγήσει σε λανθασμένες διαγνώσεις.»
Ωστόσο, ο Ρούντι και η ομάδα του ανακάλυψαν πρόσφατα ότι η κατάρρευση μοντέλου μπορεί να αποφευχθεί ακόμη και με την προσθήκη ενός μόνο ανθρώπινου δεδομένου στο σύνολο εκπαίδευσης ενός AI, ακόμη κι αν όλα τα υπόλοιπα δεδομένα έχουν δημιουργηθεί από AI.
Η μελέτη - στην οποία συμμετείχαν ερευνητές από το KCL, το Norwegian University of Science and Technology και το Abdus Salam International Centre for Theoretical Physics στην Ιταλία - δημοσιεύθηκε στις 14 Μαΐου στο επιστημονικό περιοδικό Physical Review Letters.
Αν και η πλήρης κατάρρευση μοντέλου δεν έχει ακόμη παρατηρηθεί σε πραγματικά, ενεργά συστήματα AI, όσοι χρησιμοποιούν εργαλεία όπως το ChatGPT ή το Gemini έχουν πιθανότατα συναντήσει λάθη ή «παραισθήσεις» στις απαντήσεις τους. Ο Ρούντι ελπίζει ότι τα νέα ευρήματα θα ανοίξουν τον δρόμο για την αποφυγή αυτής της πιθανής απειλής.
Αντιμετωπίζοντας την κατάρρευση
Πέρα από τις γνωστές «παραισθήσεις» των σημερινών generative AI εργαλείων, δεν έχουμε ακόμη δει θεαματικά παραδείγματα προηγμένων AI που «τρελαίνονται» και παράγουν εντελώς ακατανόητο περιεχόμενο. Ωστόσο, ήπια σημάδια κατάρρευσης φαίνονται όταν ένα AI δίνει ολοένα και πιο ανακριβείς ή άχρωμες απαντήσεις, ή κατασκευάζει πληροφορίες που θεωρεί πως θέλει να ακούσει ο χρήστης.
Όταν τα LLMs εκπαιδεύονται επανειλημμένα πάνω σε δεδομένα που έχουν παραχθεί από άλλα LLMs, η αρχική αλήθεια και οι μικρές διαφοροποιήσεις ανάμεσα στις γενιές μοντέλων «εξομαλύνονται», οδηγώντας σε ομογενοποιημένες απαντήσεις. Ένα κείμενο μπορεί να φαίνεται σωστό με την πρώτη ματιά, αλλά να στερείται πραγματικού βάθους ή λεπτομέρειας.
Η κατάρρευση μοντέλου διακρίνεται συνήθως σε δύο στάδια:
Πρώιμη κατάρρευση, όπου το AI χάνει την ικανότητα να διαχειρίζεται σπάνιες ή εξειδικευμένες πληροφορίες και αρχίζει να δίνει γενικόλογες, «συνθετικές» απαντήσεις.
Προχωρημένη κατάρρευση, όπου τα LLMs παράγουν καθαρή ανοησία ή εντελώς λανθασμένες πληροφορίες.
Η τεράστια κλίμακα των LLMs και των δεδομένων που επεξεργάζονται καθιστά δύσκολο να κατανοήσουμε γιατί εμφανίζονται οι «παραισθήσεις» και πώς προκύπτει η κατάρρευση μοντέλου.
Για να το μελετήσουν, οι ερευνητές χρησιμοποίησαν μικρότερα μοντέλα που ανήκουν στις λεγόμενες «εκθετικές οικογένειες» πιθανοτήτων — μια κατηγορία μαθηματικών κατανομών που χρησιμοποιούνται για την εκτίμηση πιθανοτήτων τυχαίων γεγονότων, όπως η γνωστή καμπύλη κανονικής κατανομής ή η πιθανότητα να φέρει «κορώνα» ένα νόμισμα.
«Μελετώντας μαθηματικά μοντέλα που μπορούν να αναλυθούν, όπως οι εκθετικές οικογένειες, μπορείς να απαντήσεις στα “γιατί” και “πώς” αυτών των φαινομένων», εξήγησε ο Ρούντι. «Έτσι μπορείς επίσης να βρεις τρόπους αντιμετώπισης των επικίνδυνων συνεπειών τους και τελικά να εφαρμόσεις αυτές τις λύσεις σε πραγματικά συστήματα.»
Οι ερευνητές διαπίστωσαν ότι η εισαγωγή ακόμη και ενός μόνο εξωτερικού ανθρώπινου δεδομένου σε ένα σύνολο συνθετικών δεδομένων, κατά την εκπαίδευση ενός νέου μοντέλου πάνω σε δεδομένα που δημιούργησε προηγούμενο μοντέλο, αρκούσε για να αποφευχθεί η κατάρρευση.
Ο Ρούντι έφερε ως παράδειγμα ένα AI που ταξινομεί εικόνες ή βίντεο: το μοντέλο μπορεί να εκπαιδευτεί χρησιμοποιώντας μια πραγματική εικόνα που έχει χαρακτηριστεί σωστά από άνθρωπο, αντί να βασίζεται αποκλειστικά σε υλικό ή ετικέτες που έχουν δημιουργηθεί από AI.
«Με άλλα λόγια, αυτό το δεδομένο συνδέεται με μια “θεμελιώδη αλήθεια”, κάτι που γνωρίζουμε ότι είναι αναμφισβήτητα σωστό και ανεξάρτητα επαληθεύσιμο», είπε.
Το επόμενο βήμα για τον Ρούντι και τους συνεργάτες του είναι να εφαρμόσουν αυτή τη μέθοδο σε μεγαλύτερα και πιο πολύπλοκα μοντέλα, ώστε να διαπιστώσουν αν η ίδια αρχή εξακολουθεί να ισχύει.
Η μέθοδος αυτή θα μπορούσε να αποτρέψει δυνητικά «καταστροφικά» σενάρια κατάρρευσης μοντέλων, ειδικά στα AI συστήματα που χρησιμοποιούμε καθημερινά.
«Αυτή η έρευνα είναι το πρώτο βήμα για να τεθούν κάποιοι βασικοί κανόνες αποτροπής αυτού του φαινομένου στο μέλλον», κατέληξε ο Ρούντι. «Παρότι χρειάζεται περισσότερη δουλειά, οι μηχανικοί AI που αναπτύσσουν το επόμενο ChatGPT μπορούν να χρησιμοποιήσουν τα ευρήματά μας για να δημιουργήσουν μοντέλα που δεν θα καταρρέουν.»
Διαβάστε τις Ειδήσεις σήμερα και ενημερωθείτε για τα πρόσφατα νέα.
Ακολουθήστε το Skai.gr στο Google News και μάθετε πρώτοι όλες τις ειδήσεις.
