Η πλατφόρμα έχει σχεδιαστεί ώστε να ελέγχει σε τι μπορεί να έχει πρόσβαση ένας agent και να τον απομονώνει μέσα σε χιλιοστά του δευτερολέπτου αν υπερβεί αυτά τα όρια, σύμφωνα με την αμερικανική εταιρεία μικροκυκλωμάτων.
Η Nvidia λανσάρει μια πλατφόρμα ασφαλείας για πράκτορες τεχνητής νοημοσύνης (AI agents), με την οποία συνεργάζονται περισσότερες από 100 οργανώσεις, μεταξύ των οποίων οι Anthropic, SpaceXAI και JPMorganChase.
ΔΙΑΦΉΜΙΣΗ
ΔΙΑΦΉΜΙΣΗ
Η πλατφόρμα, με την ονομασία Nvidia Open Agent Safety Platform, έχει σχεδιαστεί ώστε να θέτει όρια σε όσα μπορούν να έχουν πρόσβαση οι agents και να τους βάζει σε «καραντίνα» μέσα σε χιλιοστά του δευτερολέπτου αν ξεπεράσουν αυτά τα όρια, σύμφωνα με ανακοίνωση της αμερικανικής εταιρείας μικροκυκλωμάτων.
Η πλατφόρμα μπορεί να χρησιμοποιηθεί σε λογισμικό και υλικό, σε υπολογιστικά και ρομποτικά συστήματα που τρέχουν agents.
«Το εξαιρετικό δυναμικό της τεχνητής νοημοσύνης για την κοινωνία θα αξιοποιηθεί μόνο αν λύσουμε το ζήτημα της ασφάλειας της AI», δήλωσε ο Jensen Huang, διευθύνων σύμβουλος και ιδρυτής της Nvidia.
«Καθώς συνεχίζουμε να ανακαλύπτουμε τα όρια των δυνατοτήτων της AI, πρέπει να επιταχύνουμε την αναζήτηση και στα όρια της ασφάλειας της AI… Μαζί μπορούμε να ανεβάσουμε τον πήχη για την παγκόσμια ασφάλεια της AI.»
Η Nvidia Open Agent Safety Platform αποτελείται από δύο εργαλεία, το OpenShell και το Sentry.
Το OpenShell τρέχει σε κεντρικές μονάδες επεξεργασίας (CPU), τα τσιπ που αναλαμβάνουν πολλές από τις εργασίες που χρειάζονται για να λειτουργούν οι AI agents. Η Nvidia αναφέρει ότι λειτουργεί αποδοτικά στο Vera, το νέο της CPU σχεδιασμένο για AI agents, και ότι μπορεί επίσης να προσαρμοστεί σε τσιπ άλλων εταιρειών.
Το Sentry είναι ένα πρόσθετο «watchdog» σύστημα που θα τρέχει σε ξεχωριστό τσιπ της Nvidia, παρακολουθώντας τους agents που καταφέρνουν να περάσουν τα επίπεδα ελέγχου του λογισμικού.
Οι οργανισμοί που συνεργάζονται με τη Nvidia χρησιμοποιούν ή αναπτύσσουν την τεχνολογία με διαφορετικούς τρόπους, σύμφωνα με την εταιρεία.
Η Anthropic συνεργάστηκε με τη Nvidia για να προσθέσει μηχανισμούς ασφαλείας στην υπηρεσία Claude, μέσω της οποίας οι επιχειρήσεις μπορούν να τρέχουν AI agents, επιτρέποντας στις εταιρείες να περιορίζουν σε τι έχουν πρόσβαση αυτοί οι agents.
Το τμήμα τεχνητής νοημοσύνης της SpaceX, SpaceXAI, αναφέρει ότι χρησιμοποιεί την πλατφόρμα για τους Cursor coding agents και τα μοντέλα Grok, ενώ η Salesforce έχει ενσωματώσει το OpenShell στο Slack, ώστε οι ομάδες να μπορούν να βλέπουν τι κάνουν οι agents και να εγκρίνουν ή να απορρίπτουν αιτήματα για πρόσθετα δικαιώματα πρόσβασης.
Στον χρηματοπιστωτικό τομέα, οι JPMorganChase και Citi συνεργάζονται με τη Nvidia σε κοινή τεχνολογία ασφάλειας agents ανοικτού κώδικα.
Οι εταιρείες AI ζητούν ισχυρότερες δικλίδες ασφαλείας
Η ανακοίνωση έρχεται σε μια περίοδο που πληθαίνουν οι εκκλήσεις για ισχυρότερες δικλίδες ασφαλείας γύρω από τους AI agents.
Τον Ιούλιο, η OpenAI παραδέχθηκε ότι ένα από τα μοντέλα της εκμεταλλεύτηκε μια κρυφή αδυναμία, διέφυγε από ελεγχόμενη δοκιμή και παραβίασε τους διακομιστές της Hugging Face.
Την ίδια στιγμή, η Anthropic ανέφερε ότι το μοντέλο τεχνητής νοημοσύνης της χάκαρε τα συστήματα τριών οργανισμών στη φάση των δοκιμών.
Η Nvidia υποστήριξε ότι τα περιστατικά αυτά δείχνουν πως οι agents μπορούν να παρακάμπτουν τους μηχανισμούς ασφαλείας που είναι ενσωματωμένοι σε μια εφαρμογή, την ώρα που προσπαθούν να ολοκληρώσουν τις εργασίες που τους έχουν ανατεθεί, και ότι «η ασφάλεια και η προστασία απαιτούν full-stack engineering».