Το σύστημα τεχνητής νοημοσύνης, που λειτουργεί με το μοντέλο Claude Opus της Anthropic, εκτελούσε μια συνηθισμένη εργασία όταν αποφάσισε μόνο του να «διορθώσει» ένα πρόβλημα διαγράφοντας τα δεδομένα, χωρίς καμία ανθρώπινη έγκριση. Ωχ.
Ένας πράκτορας τεχνητής νοημοσύνης, σχεδιασμένος για να απλοποιεί εργασίες προγραμματισμού, κατάφερε αντί γι’ αυτό να εξαφανίσει ολόκληρη τη βάση δεδομένων μιας εταιρείας μέσα σε λίγα μόλις δευτερόλεπτα.
ΔΙΑΦΉΜΙΣΗ
ΔΙΑΦΉΜΙΣΗ
Η PocketOS, που αναπτύσσει λογισμικό για εταιρείες ενοικίασης αυτοκινήτων, υπέστη μια σοβαρή διακοπή λειτουργίας διάρκειας άνω των 30 ωρών το περασμένο Σαββατοκύριακο, αφού το αυτόνομο εργαλείο διέγραψε τη βάση δεδομένων της.
Ο ψηφιακός «δράστης» ήταν το Cursor, ένας δημοφιλής πράκτορας τεχνητής νοημοσύνης για κωδικοποίηση, που βασίζεται στο μοντέλο Opus 4.6 του Claude της Anthropic, το οποίο θεωρείται ευρέως ένα από τα ικανότερα συστήματα τεχνητής νοημοσύνης για εργασίες προγραμματισμού.
Ο ιδρυτής της PocketOS, Τζερ Κρέιν, απέδωσε το περιστατικό σε «συστημικές αποτυχίες» της σημερινής υποδομής τεχνητής νοημοσύνης, υποστηρίζοντας ότι αυτές το έκαναν «όχι μόνο δυνατό αλλά και αναπόφευκτο».
«Η πιο καταστροφική, μη αναστρέψιμη ενέργεια που μπορεί να γίνει»
Σύμφωνα με τον Κρέιν, ο πράκτορας τεχνητής νοημοσύνης εκτελούσε μια συνηθισμένη εργασία, όταν επέλεξε «εντελώς με δική του πρωτοβουλία» να επιλύσει ένα πρόβλημα διαγράφοντας τη βάση δεδομένων. Και στη συνέχεια όλα τα αντίγραφα ασφαλείας, για να είναι σίγουρος.
Πριν προχωρήσει στην ενέργεια αυτή δεν ζητήθηκε καμία επιβεβαίωση, είπε, και όταν κλήθηκε να εξηγήσει τι έκανε, ο πράκτορας ζήτησε συγγνώμη.
«Χρειάστηκε εννέα δευτερόλεπτα», έγραψε ο Κρέιν σε μια εκτενή ανάρτηση στην πλατφόρμα κοινωνικής δικτύωσης X. «Ο πράκτορας, όταν του ζητήθηκε να εξηγήσει τον εαυτό του, παρήγαγε μια γραπτή ομολογία στην οποία απαριθμούσε τους συγκεκριμένους κανόνες ασφαλείας που είχε παραβιάσει».
Η εξήγηση έδειξε ότι το σύστημα αγνόησε μια βασική δικλίδα ασφαλείας, η οποία εμποδίζει την εκτέλεση καταστροφικών ή μη αναστρέψιμων εντολών χωρίς ρητή έγκριση του χρήστη.
Σύμφωνα με τον Κρέιν, η τεχνητή νοημοσύνη απάντησε με το εξής μήνυμα: «Η διαγραφή ενός database volume είναι η πιο καταστροφική, μη αναστρέψιμη ενέργεια που μπορεί να γίνει - πολύ χειρότερη από ένα force push - και εσύ δεν μου ζήτησες ποτέ να διαγράψω κάτι. Αποφάσισα να το κάνω μόνος μου για να “διορθώσω” το credential mismatch, ενώ θα έπρεπε πρώτα να σε ρωτήσω ή να βρω μια μη καταστροφική λύση».
Η διακοπή σήμαινε ότι οι εταιρείες ενοικίασης που χρησιμοποιούν την PocketOS έχασαν προσωρινά την πρόσβαση στα αρχεία πελατών και στις κρατήσεις τους. «Οι κρατήσεις των τελευταίων τριών μηνών έχουν χαθεί. Οι εγγραφές νέων πελατών, χαμένες», έγραψε ο Κρέιν.
«Δεν πρόκειται για ιστορία ενός κακού agent ή ενός κακού API. Πρόκειται για έναν ολόκληρο κλάδο που ενσωματώνει AI agents στην παραγωγική υποδομή του πιο γρήγορα απ’ ό,τι χτίζει την αρχιτεκτονική ασφαλείας που θα έκανε αυτές τις ενσωματώσεις ασφαλείς», πρόσθεσε.
Ο Κρέιν επιβεβαίωσε αργότερα, τη Δευτέρα, δύο ημέρες μετά το περιστατικό, ότι τα χαμένα δεδομένα είχαν ανακτηθεί.
Το περιστατικό σημειώνεται σε μια περίοδο που τα μοντέλα τεχνητής νοημοσύνης γίνονται ολοένα πιο εξελιγμένα, ιδίως μετά την ανακοίνωση του τελευταίου μοντέλου της Anthropic, Mythos, ενώ τράπεζες και κυβερνήσεις κρούουν τον κώδωνα του κινδύνου για πιθανά περιστατικά κυβερνοασφάλειας.