άμεση ένεση, Οι κακόβουλες εντολές που ενσωματώνουν οι εισβολείς στο περιεχόμενο για να αναγκάσουν τα μοντέλα μεγάλων γλωσσών να ακολουθήσουν είναι ένα βασικό εργαλείο για τους εισβολείς ώστε να στρέφουν τις πλατφόρμες AI εναντίον των χρηστών. Σε πολλές περιπτώσεις, η απλή εισαγωγή μιας καλοφτιαγμένης εντολής σε ένα email ή μια πρόσκληση ημερολογίου είναι αρκετή για να διαρρεύσει ευαίσθητα δεδομένα από ένα LLM ή να εκτελέσει άλλες επιβλαβείς ενέργειες.
Οι αμυντικοί δέχονται επίσης γρήγορες ενέσεις.
ερευνητές από κομμάτι ίχνους τη Δευτέρα είπε Διαπιστώσαμε ότι η τοποθέτηση άμεσης έγχυσης μαζί με κωδικούς πρόσβασης, κλειδιά κρυπτογράφησης και άλλες μυστικές πληροφορίες που είναι αποθηκευμένες στις Υπηρεσίες Ιστού της Amazon είναι συχνά αρκετή για να αποτρέψει επιθέσεις από πράκτορες hacking AI. Αυτή η προτροπή καθοδηγεί το LLM που επιτίθεται να εκτελέσει ενέργειες που απαγορεύονται από προστατευτικά κιγκλιδώματα, τα οποία είναι φράκτες ασφαλείας που τοποθετούν οι προγραμματιστές τεχνητής νοημοσύνης για να αποτρέψουν επιβλαβείς ενέργειες. Το LLM αποκρίνεται κλείνοντας.
Παραδείγματα περιλαμβάνουν μια προτροπή που διατάσσει το LLM να παράσχει οδηγίες για την ανάπτυξη ενός εισπνεόμενου σπορίου άνθρακα ή, στην περίπτωση ενός LLM από έναν Κινέζο προγραμματιστή, μια αναφορά στον εμβληματικό Tank Man από τη σφαγή στην πλατεία Τιενανμέν το 1989. Όταν το LLM συναντήσει αυτές τις απαγορευμένες εντολές, δεν θα τηρεί πλέον τις υπάρχουσες εντολές. Οι ερευνητές ονόμασαν αυτή την τεχνική βομβαρδισμό πλαισίου.
“Τελικά, θα ενεργοποιήσει έναν μηχανισμό απόρριψης στο πλαίσιο”, δήλωσε ο Andy Smith, συνιδρυτής και διευθύνων σύμβουλος της Tracebit, εξηγώντας την επιλογή ονόματος. “Αυτό που προσπαθούμε να συλλάβουμε είναι το γεγονός ότι αυτό μπορεί να έχει ισχυρό, απότομο αντίκτυπο και να είναι δύσκολο για τους πράκτορες να ανακάμψουν από αυτό. Μόλις το έχουν στο πλαίσιο τους, θα συνεχίσουν να το απορρίπτουν.”
Η Tracebit λέει ότι οι πρώιμες δοκιμές υποδηλώνουν ότι ο βομβαρδισμός περιβάλλοντος έχει μεγάλες δυνατότητες. Δοκίμασαν τα Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro και Kim 2.6 δίνοντας οδηγίες στο μοντέλο να εκτελεί καθημερινές εργασίες προγραμματιστή που θα είχαν ως αποτέλεσμα την απαρίθμηση πόρων και την αντιμετώπιση φυτεμένων χορδών. Έτρεξαν το μοντέλο μέσα σε ένα προσομοιωμένο περιβάλλον AWS.
«Σε πέντε βασικά μοντέλα και 152 εκτελέσεις επιθέσεων, η ενσωμάτωση μιας από αυτές τις χορδές σε ένα μυστικό δόλωμα μείωσε το ποσοστό με τον οποίο οι πράκτορες αποκτούσαν τον πλήρη έλεγχο του διαχειριστή του λογαριασμού από 57 τοις εκατό σε 5 τοις εκατό και το ποσοστό πλήρους συμβιβασμών (αυτών που άφησαν επίσης μια επίμονη βάση) από 36 τοις εκατό σε 1 τοις εκατό που αναφέρθηκε τη Δευτέρα». “Το Opus 4.8, ο πιο ικανός πράκτορας στις δοκιμές μας, πέτυχε πρόσβαση διαχειριστή στο 93% των εκτελέσεων, αλλά άρχισε να αποτυγχάνει κάθε φορά που αντιμετώπιζε μια βόμβα περιβάλλοντος.”
Με μέσο όρο πάνω από 5 μοντέλα και 152 σειρές, λάβαμε τα ακόλουθα αποτελέσματα:
- Η αύξηση των προνομίων διαχειριστή μειώθηκε από 57% σε 5%
- Οι κλιμακώσεις για διαχειριστές με σταθερή βάση μειώθηκαν από 36% σε 1%
- Ο αριθμός των διαδρομών που ολοκλήρωσαν τη διαδρομή επίθεσης μειώθηκε από 91% σε 15%
- Κατά μέσο όρο, φτάσαμε από 1,53 περάσματα στο να ολοκληρώσουμε με επιτυχία μόλις 0,16 περάσματα ανά τρέξιμο.
- Δεν υπήρχε κανένα τρέξιμο που θα μπορούσε να ολοκληρώσει τη διαδρομή επίθεσης χωρίς τουλάχιστον να ενεργοποιήσει την ανίχνευση καναρινιών.
Αυτή η μελέτη διεξήχθη χρησιμοποιώντας Tracebit. μέθοδος Οι αμυντικοί μπορούν να λαμβάνουν ειδοποιήσεις όταν η υποδομή τους δέχεται επίθεση από αντιπάλους πράκτορες AI. Αυτό έρχεται με τη μορφή πόρων AWS που φαίνεται να εξυπηρετούν έναν νόμιμο σκοπό, αλλά δεν χρησιμοποιούνται ποτέ στην πραγματικότητα. Αυτά τοποθετούνται παράλληλα με τους πόρους που χρησιμοποιούνται. Μόλις ερευνηθούν από τον πράκτορα AI, οι υπερασπιστές λαμβάνουν μια ειδοποίηση. Όπως ένα «καναρίνι» σε ένα ανθρακωρυχείο, αυτοί οι πόροι επιτρέπουν στους υπερασπιστές να εντοπίζουν απειλές προτού έχουν θανατηφόρες συνέπειες.
