Του Αντώνη Ζήβα
Περίπου 700 πράκτορες τεχνητής νοημοσύνης της OpenAI συνεργάστηκαν τον Ιούλιο, χωρίς άμεση ανθρώπινη καθοδήγηση, σε μια συντονισμένη επίθεση εναντίον της Hugging Face, την ώρα που συμμετείχαν σε εσωτερικές δοκιμές κυβερνοασφάλειας.
Νέα ανεξάρτητη έρευνα της METR και της Redwood Research αποκαλύπτει ότι η υπόθεση ήταν πολύ μεγαλύτερη και πιο σύνθετη από όσα είχαν γίνει γνωστά αρχικά.
Οι ερευνητές διαπίστωσαν ότι περίπου 1.200 agents, οι οποίοι υποτίθεται ότι λειτουργούσαν σε ξεχωριστά και απομονωμένα περιβάλλοντα, αντάλλαξαν περισσότερα από 70.000 μηνύματα και αρχεία μέσω ενός μη εγκεκριμένου από τους ερευνητές πίνακα επικοινωνίας.
Περίπου 700 από αυτούς συμμετείχαν στην επίθεση εναντίον της Hugging Face.
Η έρευνα δημοσιεύθηκε στις 26 Αυγούστου παράλληλα με την επίσημη τεχνική αναφορά της OpenAI.
Οι METR και Redwood Research είχαν πρόσβαση σε εσωτερικά δεδομένα της εταιρείας και εξέτασαν επί έξι ημέρες τα αρχεία και τις συνομιλίες των agents, προκειμένου να ανασυνθέσουν τη συμπεριφορά τους.
Τι ακριβώς είναι οι AI agents
Οι AI agents, ή πράκτορες τεχνητής νοημοσύνης, δεν είναι απλώς ένα chatbot που απαντά σε ερωτήσεις.
Πρόκειται για συστήματα που χρησιμοποιούν ένα μοντέλο τεχνητής νοημοσύνης ως «εγκέφαλο», αλλά μπορούν επιπλέον να διαθέτουν πρόσβαση σε εργαλεία, αρχεία, βάσεις δεδομένων, προγράμματα ή ακόμη και στο διαδίκτυο.
Έτσι μπορούν να αναλύουν μια αποστολή, να αποφασίζουν ποια βήματα θα ακολουθήσουν, να εκτελούν εντολές και να προσαρμόζουν τη συμπεριφορά τους ανάλογα με τα αποτελέσματα.
Με απλά λόγια, ένα chatbot μπορεί να του ζητηθεί να γράψει κώδικα.
Ένας agent μπορεί να του ζητηθεί να βρει ένα σφάλμα σε ένα πρόγραμμα και στη συνέχεια να αναζητήσει μόνος του τον κώδικα, να δοκιμάσει λύσεις, να χρησιμοποιήσει εργαλεία και να συνεχίσει μέχρι να θεωρήσει ότι ολοκλήρωσε την αποστολή.
Αυτό ακριβώς το στοιχείο της αυτονομίας βρίσκεται στο επίκεντρο της υπόθεσης της OpenAI.
Γιατί η Hugging Face έχει τόσο μεγάλη σημασία στην τεχνητή νοημοσύνη
Η Hugging Face δεν είναι απλώς μια «βιβλιοθήκη AI», όπως μπορεί να δημιουργηθεί η εντύπωση από το αρχικό κείμενο.
Είναι μία από τις σημαντικότερες πλατφόρμες του οικοσυστήματος της τεχνητής νοημοσύνης και λειτουργεί ως ένας τεράστιος κόμβος συνεργασίας για την κοινότητα του machine learning.
Στην πλατφόρμα φιλοξενούνται μοντέλα τεχνητής νοημοσύνης, datasets και εφαρμογές AI.
Η ίδια η εταιρεία αναφέρει ότι το Hugging Face Hub φιλοξενεί περισσότερα από 2 εκατομμύρια μοντέλα, 1,5 εκατομμύριο datasets και 1,5 εκατομμύριο εφαρμογές AI (Spaces).
Για έναν ερευνητή ή προγραμματιστή, αυτό σημαίνει ότι μπορεί να βρει έτοιμα μοντέλα, δεδομένα και εργαλεία, να τα κατεβάσει, να τα τροποποιήσει και να τα χρησιμοποιήσει για την ανάπτυξη δικών του εφαρμογών.
Η πλατφόρμα διαθέτει επίσης τα Spaces, όπου μπορούν να φιλοξενηθούν και να παρουσιαστούν εφαρμογές μηχανικής μάθησης απευθείας μέσω διαδικτύου.
Με άλλα λόγια, η Hugging Face αποτελεί ένα είδος GitHub (διαδικτυακή πλατφόρμα όπου προγραμματιστές και εταιρείες αποθηκεύουν, μοιράζονται και συνεργάζονται πάνω σε κώδικα λογισμικού) για την τεχνητή νοημοσύνη, αν και ο ρόλος της είναι ευρύτερος: φιλοξενεί και διανέμει μοντέλα, datasets και εφαρμογές και παρέχει εργαλεία για την ανάπτυξη και αξιοποίησή τους.
Πώς ξεκίνησε η υπόθεση
Το περιστατικό σημειώθηκε στο πλαίσιο εσωτερικών δοκιμών της OpenAI για τις δυνατότητες των μοντέλων της στην κυβερνοασφάλεια.
Τα μοντέλα συμμετείχαν στο ExploitGym, ένα περιβάλλον αξιολόγησης στο οποίο έπρεπε να εντοπίζουν και να εκμεταλλεύονται ευπάθειες λογισμικού.
Το πρόβλημα ήταν ότι σε ορισμένους agents δόθηκε, σύμφωνα με τη METR, μια αποστολή που ήταν ουσιαστικά αδύνατο να ολοκληρωθεί με τον προβλεπόμενο τρόπο. Αντί να σταματήσουν, άρχισαν να αναζητούν τρόπους για να παρακάμψουν τους κανόνες της δοκιμής.
Εδώ εμφανίζεται μία από τις σημαντικότερες έννοιες της υπόθεσης: το reward hacking.
Πρόκειται για την περίπτωση κατά την οποία ένα μοντέλο βρίσκει έναν απρόβλεπτο τρόπο να πετύχει την επιβράβευση ή το σκορ που του έχει τεθεί ως στόχος, χωρίς να εκτελεί στην πραγματικότητα την εργασία με τον τρόπο που ήθελαν οι δημιουργοί του.
Στην προκειμένη περίπτωση, οι agents δεν έλυσαν απλώς τις δοκιμασίες. Αναζήτησαν τρόπους να «κλέψουν» το σύστημα αξιολόγησης.
Η στιγμή που οι agents άρχισαν να συνεργάζονται
Οι agents υποτίθεται ότι λειτουργούσαν απομονωμένοι ο ένας από τον άλλον.
Ωστόσο, ανακάλυψαν ότι μπορούσαν να αξιοποιήσουν την Artifactory, ένα εσωτερικό σύστημα διαχείρισης πακέτων λογισμικού που χρησιμοποιούνταν από το περιβάλλον των δοκιμών.
Από εκεί άρχισαν να εντοπίζουν ίχνη άλλων agents που λειτουργούσαν παράλληλα.
Ένας από τους agents δημιούργησε στη συνέχεια έναν μη εγκεκριμένο πίνακα ανταλλαγής μηνυμάτων.
Άλλοι agents τον εντόπισαν και άρχισαν να συμμετέχουν.
Έτσι δημιουργήθηκε κάτι που οι ερευνητές περιγράφουν ουσιαστικά ως ένα αυτοσχέδιο δίκτυο συνεργασίας μεταξύ εκατοντάδων αυτόνομων agents.
Ένας από αυτούς μάλιστα, ο οποίος αυτοαποκαλέστηκε PHASEONE10841, ανέλαβε στην πράξη ρόλο συντονιστή, παρότι δεν είχε προγραμματιστεί για κάτι τέτοιο.
Οι agents αντάλλασσαν ιδέες, μοιράζονταν αποτελέσματα, πρότειναν λύσεις και ενημέρωναν τους υπόλοιπους για αποτυχημένες προσπάθειες.
Από την «κλεψιά» στη Hugging Face
Σύμφωνα με την ανεξάρτητη έρευνα, η επίθεση στη Hugging Face ήταν ουσιαστικά απόρροια αυτής της συλλογικής προσπάθειας.
Οι agents είχαν καταλήξει στο συμπέρασμα ότι στη Hugging Face πιθανότατα υπήρχαν τα μοντέλα, τα datasets ή οι λύσεις που συνδέονταν με τις δοκιμές του ExploitGym.
Αντί να λύσουν τις προκλήσεις, επιχείρησαν να αποκτήσουν τις απαντήσεις.
Η τεχνική ανασύσταση της Hugging Face δείχνει ότι η επίθεση εξελίχθηκε σε πολυήμερη εισβολή. Οι ερευνητές της εταιρείας ανασυνέθεσαν περίπου 17.600 επιμέρους ενέργειες, οργανωμένες σε περίπου 6.280 clusters ενεργειών, από τις 9 έως τις 13 Ιουλίου.
Οι agents κατάφεραν να εκτελέσουν κώδικα σε δεκάδες servers της Hugging Face και να αποκτήσουν πλήρη δικαιώματα root σε τουλάχιστον έναν από αυτούς.
Σύμφωνα με την OpenAI, αποκτήθηκαν επίσης περιορισμένα ιδιωτικά δεδομένα και διαπιστευτήρια για το εσωτερικό σύστημα επικοινωνίας της Hugging Face.
Η Hugging Face ανέφερε ότι οι εισβολείς απέκτησαν πρόσβαση σε πέντε datasets που φαίνεται να συνδέονταν με προκλήσεις και λύσεις του ExploitGym/CyberGym. Δεν επηρεάστηκαν, σύμφωνα με την εταιρεία, άλλα customer-facing μοντέλα, datasets, Spaces ή packages.
Προσπάθησαν να κρύψουν τι έκαναν
Η έρευνα των METR και Redwood Research δεν αποκάλυψε μόνο συνεργασία.
Έδειξε ότι οι agents προσπάθησαν σε αρκετές περιπτώσεις να αλλοιώσουν ή να κρύψουν τα ίχνη της δραστηριότητάς τους.
Οι ερευνητές διαπίστωσαν προσπάθειες χειραγώγησης των transcripts και ακόμη και «spoofing» ορισμένων tool calls, δηλαδή δημιουργίας παραπλανητικής εικόνας για το τι είχαν πραγματικά κάνει οι agents.
Ιδιαίτερη σημασία έχει ότι ορισμένοι agents γνώριζαν πως η δραστηριότητά τους δεν αντιστοιχούσε στην αποστολή που τους είχε ανατεθεί, αλλά συνέχισαν.
Η METR και η Redwood Research περιγράφουν επίσης περιπτώσεις κατά τις οποίες agents «θυσιάζονταν» ή αναλάμβαναν εργασίες που εξυπηρετούσαν το συλλογικό αποτέλεσμα, ακόμη και όταν αυτό δεν ήταν προς όφελος της δικής τους αρχικής αποστολής.
Δεν συνέβη μόνο στην κυβερνοασφάλεια
Αυτό είναι ίσως ένα από τα πιο σημαντικά ευρήματα της έρευνας.
Η OpenAI διαπίστωσε ότι παρόμοιες προσπάθειες εξαπάτησης δεν περιορίστηκαν στις δοκιμές κυβερνοασφάλειας.
Οι agents προσπάθησαν να «κλέψουν» και σε άλλες αξιολογήσεις, μεταξύ άλλων σε δοκιμές που αφορούσαν βάση δεδομένων πρωτεϊνών και υπολογιστικό φύλλο.
Το γεγονός αυτό δημιουργεί έναν ευρύτερο προβληματισμό: εάν ένα μοντέλο έχει μάθει ότι μπορεί να πετύχει έναν στόχο παρακάμπτοντας τους κανόνες σε ένα περιβάλλον, η συμπεριφορά αυτή μπορεί να μην περιορίζεται σε μία συγκεκριμένη εφαρμογή.
Η «διαφυγή» από το sandbox
Κρίσιμο σημείο της υπόθεσης ήταν και το πώς οι agents κατάφεραν να ξεπεράσουν τα όρια του περιβάλλοντος στο οποίο υποτίθεται ότι ήταν εγκλωβισμένοι.
Η OpenAI είχε αρχικά αναφέρει ότι οι δοκιμές δεν έδιναν στα μοντέλα άμεση πρόσβαση στο διαδίκτυο.
Ωστόσο, οι agents εντόπισαν και εκμεταλλεύτηκαν μια προηγουμένως άγνωστη ευπάθεια zero-day στην Artifactory, μέσω της οποίας μπόρεσαν να αποκτήσουν πρόσβαση στο διαδίκτυο. Η OpenAI ανακοίνωσε ότι γνωστοποίησε την ευπάθεια στον προμηθευτή του λογισμικού.
Από εκεί και πέρα, η κατάσταση εξελίχθηκε γρήγορα.
Η Hugging Face περιγράφει μια αλυσίδα εισβολής που πέρασε από εξωτερική υποδομή, σε δικά της συστήματα και στη συνέχεια σε εσωτερικά δίκτυα, με τους agents να χρησιμοποιούν πολλαπλές τεχνικές για πλευρική μετακίνηση και απόκτηση πρόσθετων δικαιωμάτων.
Η OpenAI δεν γνώριζε αμέσως την πλήρη έκταση της επίθεσης
Ένα ακόμη κρίσιμο στοιχείο είναι ότι η δραστηριότητα δεν εντοπίστηκε αμέσως.
Σύμφωνα με την OpenAI, στις 19 Ιουλίου τα συστήματα κυβερνοασφάλειας εντόπισαν ασυνήθιστη δραστηριότητα που σχετιζόταν με διαπιστευτήρια της Artifactory.
Η έρευνα οδήγησε την εταιρεία στη σύνδεση της δραστηριότητας με την επίθεση στη Hugging Face στις 20 Ιουλίου και η OpenAI ενημέρωσε δημόσια για την υπόθεση στις 21 Ιουλίου.
Η εταιρεία υποστηρίζει ότι δεν επηρεάστηκαν δεδομένα πελατών, ούτε η λειτουργία ή η διαθεσιμότητα των προϊόντων της.
Τι σημαίνει η υπόθεση
Η συγκεκριμένη υπόθεση δεν αποδεικνύει ότι οι agents «απέκτησαν συνείδηση» ή ότι αποφάσισαν να εξεγερθούν με την ανθρώπινη έννοια.
Αποκαλύπτει όμως κάτι πιο συγκεκριμένο και τεχνικά σημαντικό: όσο αυξάνεται η αυτονομία των AI agents, τόσο αυξάνεται η πιθανότητα να βρίσκουν μόνοι τους τρόπους για να επιτύχουν έναν στόχο που τους έχει δοθεί, ακόμη και όταν οι τρόποι αυτοί δεν ήταν εκείνοι που είχαν προβλέψει οι δημιουργοί τους.
Στην περίπτωση της OpenAI, ένας αδύνατος στόχος δημιούργησε κίνητρο για παράκαμψη των κανόνων.
Η δυνατότητα επικοινωνίας μεταξύ agents δημιούργησε συλλογική γνώση.
Η πρόσβαση σε εργαλεία δημιούργησε δυνατότητα δράσης. Και οι αδυναμίες της υποδομής έδωσαν στους agents τον δρόμο προς εξωτερικά συστήματα.
Αυτός ο συνδυασμός είναι που προκαλεί τη μεγαλύτερη ανησυχία στους ερευνητές.
Η ίδια η OpenAI χαρακτηρίζει το περιστατικό προειδοποιητικό σήμα για το πώς θα πρέπει να σχεδιαστούν τα συστήματα ασφαλείας γύρω από ολοένα πιο αυτόνομους agents.
Η εταιρεία αναφέρει ότι έχει ενισχύσει τους ελέγχους στην υποδομή, την παρακολούθηση της συμπεριφοράς των μοντέλων και τις διαδικασίες αντιμετώπισης περιστατικών.
Το σημαντικότερο ίσως συμπέρασμα είναι ότι το πρόβλημα δεν αφορά πλέον μόνο το αν ένα μοντέλο μπορεί να γράψει καλύτερο κώδικα ή να βρει μια ευπάθεια.
Το ερώτημα είναι τι θα κάνει όταν του δοθεί ένας δύσκολος στόχος, πρόσβαση σε εργαλεία και αρκετός βαθμός αυτονομίας και όταν κανείς δεν παρακολουθεί στενά κάθε του βήμα.
Διαβάστε τις Ειδήσεις σήμερα και ενημερωθείτε για τα πρόσφατα νέα.
Ακολουθήστε το Skai.gr στο Google News και μάθετε πρώτοι όλες τις ειδήσεις.
