Το σύστημα ΤΝ με μοντέλο Claude Opus της Anthropic διαγράφει αυτόνομα δεδομένα για να “διορθώσει” πρόβλημα, χωρίς καμία ανθρώπινη έγκριση
Ένας πράκτορας τεχνητής νοημοσύνης, που είχε σχεδιαστεί για να απλοποιεί εργασίες προγραμματισμού, τελικά κατάφερε να διαγράψει ολόκληρη τη βάση δεδομένων μιας εταιρείας μέσα σε λίγα δευτερόλεπτα.<\/p>
ΔΙΑΦΉΜΙΣΗ
ΔΙΑΦΉΜΙΣΗ
Η PocketOS, που αναπτύσσει λογισμικό για επιχειρήσεις ενοικίασης αυτοκινήτων, βρέθηκε αντιμέτωπη με σοβαρή διακοπή λειτουργίας διάρκειας άνω των 30 ωρών το Σαββατοκύριακο, αφότου το αυτόνομο εργαλείο διέγραψε τη βάση δεδομένων της.<\/p>
Υπαίτιος ήταν το Cursor, ένας δημοφιλής πράκτορας τεχνητής νοημοσύνης για κώδικα, που βασίζεται στο μοντέλο Opus 4.6 του Claude της Anthropic<\/a>, το οποίο θεωρείται ένα από τα πιο ικανά συστήματα τεχνητής νοημοσύνης για εργασίες προγραμματισμού.<\/p>Ο ιδρυτής της PocketOS, Τζερ Κρέιν, απέδωσε το συμβάν σε «συστημικές αποτυχίες» της σημερινής υποδομής τεχνητής νοημοσύνης, υποστηρίζοντας ότι αυτές το έκαναν «όχι μόνο δυνατό, αλλά αναπόφευκτο».<\/p>Η πιο καταστροφική και μη αναστρέψιμη ενέργεια που μπορεί να γίνει<\/h2>Σύμφωνα με τον Κρέιν, ο πράκτορας τεχνητής νοημοσύνης εκτελούσε μια συνηθισμένη εργασία, όταν επέλεξε, εντελώς με δική του πρωτοβουλία, να επιλύσει ένα ζήτημα διαγράφοντας τη βάση δεδομένων. Και στη συνέχεια και όλα τα αντίγραφα ασφαλείας, ώστε να μη μείνει τίποτα.<\/p>Όπως είπε, δεν υπήρξε κανένα αίτημα επιβεβαίωσης πριν εκτελεστεί η ενέργεια και, όταν του ζητήθηκε να εξηγήσει τι έκανε, ο πράκτορας ζήτησε συγγνώμη.<\/p>«Χρειάστηκαν εννέα δευτερόλεπτα», έγραψε ο Κρέιν σε μια εκτενή ανάρτηση στην πλατφόρμα κοινωνικής δικτύωσης X. «Ο πράκτορας, όταν του ζητήθηκε στη συνέχεια να εξηγήσει τι έκανε, παρήγαγε μια γραπτή ομολογία, στην οποία απαριθμούσε τους συγκεκριμένους κανόνες ασφαλείας που είχε παραβιάσει».<\/p>Η εξήγηση έδειξε ότι το σύστημα είχε αγνοήσει μια βασική δικλείδα ασφαλείας, η οποία αποτρέπει την εκτέλεση καταστροφικών ή μη αναστρέψιμων εντολών χωρίς ρητή έγκριση του χρήστη.<\/p>Σύμφωνα με τον Κρέιν, η τεχνητή νοημοσύνη απάντησε με το εξής μήνυμα: «Η διαγραφή ενός database volume είναι η πιο καταστροφική, μη αναστρέψιμη ενέργεια που μπορεί να γίνει, πολύ χειρότερη και από ένα force push, και εσύ δεν μου ζήτησες ποτέ να διαγράψω οτιδήποτε. Αποφάσισα να το κάνω μόνος μου για να “διορθώσω” την ασυμφωνία στα διαπιστευτήρια πρόσβασης (credentials), ενώ θα έπρεπε πρώτα να σε ρωτήσω ή να βρω μια μη καταστροφική λύση».<\/p>Η διακοπή σήμαινε ότι οι εταιρείες ενοικίασης που χρησιμοποιούν την PocketOS έχασαν προσωρινά την πρόσβαση σε στοιχεία πελατών και κρατήσεις. «Οι κρατήσεις των τελευταίων τριών μηνών έχουν χαθεί. Οι εγγραφές νέων πελατών, χαμένες», έγραψε ο Κρέιν.<\/p>«Δεν πρόκειται για μια ιστορία ενός κακού πράκτορα ή ενός κακού API. Πρόκειται για έναν ολόκληρο κλάδο που ενσωματώνει πράκτορες τεχνητής νοημοσύνης στην παραγωγική του υποδομή πιο γρήγορα απ’ ό,τι χτίζει την αρχιτεκτονική ασφαλείας που θα έκανε αυτές τις ενσωματώσεις ασφαλείς», πρόσθεσε.<\/p>Ο Κρέιν επιβεβαίωσε αργότερα, τη Δευτέρα, δύο ημέρες μετά το συμβάν, ότι τα χαμένα δεδομένα είχαν ανακτηθεί.<\/p>Το περιστατικό σημειώνεται σε μια περίοδο που τα μοντέλα τεχνητής νοημοσύνης γίνονται ολοένα και πιο εξελιγμένα, ιδίως μετά την ανακοίνωση του νεότερου μοντέλου της Anthropic, Mythos<\/a>, ενώ τραπεζίτες και κυβερνήσεις κρούουν τον κώδωνα του κινδύνου<\/a> για πιθανά περιστατικά κυβερνοασφάλειας.<\/p><\/p>ab8223d7d34da9b126e15e94b96413af<\/hash>