Αυτές οι startups καταπολεμούν τα deepfakes φτιάχνοντας deepfakes

Δεν ήμουν σίγουρος αν οι γονείς μου θα πρόσεχαν ότι η φωνή στην άλλη άκρη δεν ήταν δική μου – ή ότι ήταν κάπως η φωνή μου, αλλά δεν ήταν. εγώ. Η φωνή είπε γεια, ρώτησε τον πατέρα μου πώς τα πήγαινε και ρώτησε ξανά όταν δεν απάντησε αρκετά γρήγορα. «Τι είναι αυτό, Γκέιμπ;» Κατάλαβε ότι κάτι δεν πήγαινε καλά σχεδόν αμέσως. Του εξήγησα ότι προσπάθησα να τον ξεγελάσω και προφανώς δεν πέτυχε. «Δεν συνέβη», είπε. «Έμοιαζε με ρομπότ».

Δεν ήταν ιδανική εμπειρία. Οι γονείς μου ήταν εκτός χώρας, κάτι που οδήγησε σε μια κακή σχέση. Έφαγαν μεσημεριανό με φίλους και ο ήχος δεν μπορούσε να αντέξει διασταυρούμενες συζητήσεις ή καθυστερήσεις ήχου—προσπάθησε να γεμίσει τις σιωπές. Το πιο σημαντικό ήταν ότι η φωνή ακουγόταν ανθρώπινη, αλλά δεν ακουγόταν σαν εμένα.

Ο ήχος δημιουργήθηκε από την εταιρεία ανίχνευσης deepfake Reality Defender. Το πρόβλημα των χειραγωγούμενων μέσων δεν είναι καινούργιο, αλλά η εμφάνιση εργαλείων τεχνητής νοημοσύνης καταναλωτικής ποιότητας έχει καταστήσει ουσιαστικά εύκολη τη δημιουργία ψεύτικου ήχου, βίντεο και εικόνων και πολλές εταιρείες έχουν αναδυθεί τα τελευταία χρόνια για να το καταπολεμήσουν. Το Reality Defender, το Pindrop και το GetReal αποτελούν μέρος της ταχέως αναπτυσσόμενης βιομηχανίας ανίχνευσης deepfake που εκτιμάται ότι θα αξίζει 5,5 δισεκατομμύρια δολάρια από το 2023. Αυτές οι νεοσύστατες εταιρείες χρησιμοποιούν μηχανική εκμάθηση για τον εντοπισμό μέσων που έχουν υποστεί χειραγώγηση. Για να καταπολεμήσετε τα deepfakes, πρέπει να είστε σε θέση να τα δημιουργήσετε.

Ο όρος «deepfakes» αναφέρεται σε ένα συγκεκριμένο είδος χειραγώγησης μέσων που δημιουργούνται μέσω της «βαθιάς» εκμάθησης, αλλά ανεξάρτητα από τον τρόπο κατασκευής τους, δεν υπάρχει κανένας κοινός παρονομαστής που να ενώνει όλα τα deepfakes. Έχουν χρησιμοποιηθεί για απάτες, παρενόχληση και μιμίδια. Εργαλεία όπως το Grok AI οδήγησαν στη διάδοση μη συναινετικών σεξουαλικών πλαστών, συμπεριλαμβανομένου υλικού σεξουαλικής κακοποίησης παιδιών. Οι απατεώνες κλωνοποίησαν τις φωνές των ανθρώπων, κάλεσαν τους συγγενείς τους και είπαν στον ήχο ότι κρατούνταν για λύτρα. Κατά τις εκλογές του 2024, ένας πολιτικός στρατηγός και ένας μάγος συνεργάστηκαν για να δημιουργήσουν μια ψεύτικη εικόνα του πρώην προέδρου Τζο Μπάιντεν, την οποία χρησιμοποίησαν για να αποτρέψουν τους εγγεγραμμένους Δημοκρατικούς στο Νιου Χάμσαϊρ από το να ψηφίσουν στις προκριματικές εκλογές της πολιτείας. Ο πρόεδρος της Επιτροπής Εξωτερικών Σχέσεων της Γερουσίας έλαβε μια κλήση Zoom από κάποιον που χρησιμοποιεί τεχνητή νοημοσύνη για να προσποιηθεί ότι είναι Ουκρανός αξιωματούχος. Σε εταιρικό επίπεδο, η βαθιά απάτη είναι πλέον «βιομηχανική», σύμφωνα με μια μελέτη.

Η βιομηχανία ανίχνευσης deepfake υπάρχει κυρίως για να αντιμετωπίσει ένα από αυτά τα ζητήματα: το ζήτημα της εταιρικής απάτης.

Το Reality Defender εκπαιδεύει αποτελεσματικά την τεχνητή νοημοσύνη για την καταπολέμηση της τεχνητής νοημοσύνης. Η εταιρεία χρησιμοποιεί ένα «μοντέλο που βασίζεται σε ευρετικές μεθόδους» για να ανιχνεύει τα βαθιά ψεύτικα, μου είπε ο CTO Alex Leslie. “Το θεμελιώδες μοντέλο μας χρησιμοποιεί αυτό που ονομάζεται μοντέλο μαθητή/δασκάλου. Παίρνουμε ένα σωρό αληθινά πράγματα και λέμε: “Αυτό είναι αληθινό”, και μετά ένα σωρό ψεύτικα πράγματα και λέμε: “Αυτό είναι ψεύτικο”.

Για το ψεύτικο «εγώ», αφιερώσαμε λίγο χρόνο για να τελειοποιήσουμε τη φωνή: χειραγωγώντας τη συνέπεια, τη σταθερότητα και τον τόνο για να ακούγεται περισσότερο σαν το πραγματικό εγώ. Μπορούμε να κάνουμε μόνο τόσα πολλά. Δεν υπάρχουν πολλά δημόσια διαθέσιμα πλάνα από εμένα να μιλάω στα ισπανικά – τη γλώσσα που χρησιμοποιώ για να επικοινωνώ με τους γονείς μου – εκτός από μια συνέντευξη podcast από το 2021, και το μεγαλύτερο μέρος της δεν μπορεί να χρησιμοποιηθεί λόγω μουσικής υπόκρουσης. Αλλά με εννέα δευτερόλεπτα ήχου και δεδομένων που συλλέγονται από αναρτήσεις ετών, καταφέραμε να δημιουργήσουμε έναν αρκετά πειστικό πράκτορα τεχνητής νοημοσύνης που ήταν σε θέση να συνεχίσει μια συνομιλία με τον πατέρα μου, αν και απρόσωπη. Το αγγλικό μοντέλο που χρησιμοποιήσαμε με τον αδερφό μου ήταν καλύτερο, γιατί είχαμε περισσότερα προπονητικά δεδομένα, αλλά ακόμα και τότε δεν ήταν αρκετά πειστικό.

Όμως η οικογένεια είναι η πιο δύσκολη δοκιμασία.

«Ξέρουν πώς ακούγεσαι», μου είπε ο Scott Steinhardt, επικεφαλής επικοινωνίας στο Reality Defender. Ο Steinhardt δημιούργησε το deepfake με την άδειά μου και το τροποποίησε μέχρι να μου μοιάζει λίγο. Αυτό μπορεί να μην ξεγελάσει την οικογένειά μου, αλλά μάλλον είναι αρκετά καλό για, για παράδειγμα, συναδέλφους ή εταιρικές οντότητες όπως τράπεζες.

Για να είναι αποτελεσματικά, αυτά τα εργαλεία πρέπει να λειτουργούν γρήγορα. Το Generative AI είναι μάλλον αργό. Το μοντέλο που λέγαμε τον πατέρα μου θυσίασε την ποιότητα για την ταχύτητα. Για να ανταποκρίνεται γρήγορα ο ήχος, έπρεπε να δεχτούμε χαμηλότερη ποιότητα. Η λειτουργία μετατροπής κειμένου σε ομιλία ήταν πολύ καλύτερη, αλλά χρειάστηκε περισσότερος χρόνος για να δημιουργηθεί. Όταν ακούσαμε τη φωνή διαβάσαμε τον μονόλογο του Lucky Περιμένοντας τον ΓκοντόΜου έμοιαζε ακριβώς.

«Ως άνθρωπος, είναι πολύ δύσκολο να μην κάνεις deepfake», μου είπε ο Nicholas Holland, επικεφαλής προϊόντων της Pindrop. “Νομίζω ότι η πρόκληση είναι, “Πώς μπορώ να προστατεύσω την προσωπική μου ταυτότητα;” Αυτό είναι κάτι που ο κόσμος δεν έχει καταλάβει ακόμα. Σκέφτομαι, “Πώς γνωρίζουν οι οργανισμοί μου ότι είμαι εγώ;” Διαφορετικοί οργανισμοί εφαρμόζουν διαφορετικά επίπεδα ασφάλειας.

Είναι και θέμα πόρων. Δεν έχω τα χρήματα για να προσλάβω μια εταιρεία ανίχνευσης deepfake για να ελέγξει τις κλήσεις μου, αλλά η τράπεζά μου έχει — και η τράπεζά μου έχει πολλά να χάσει, σε απόλυτους αν όχι σχετικούς όρους. Μια έρευνα του 2024 διαπίστωσε ότι οι εταιρείες έχασαν 450.000 $ ανά περιστατικό deepfake, με περισσότερες από μία εταιρείες να έχασαν πάνω από 1 εκατομμύριο δολάρια σε μία μόνο δόλια συναλλαγή.

Ορισμένες από αυτές τις υποθέσεις αφορούσαν απατεώνες που παρουσιάστηκαν ως στελέχη, καλούσαν τους υφισταμένους τους και τους ζητούσαν να μεταφέρουν μεγάλα χρηματικά ποσά στους λογαριασμούς τους. Πριν συνδεθώ στην κλήση με την Holland, έλαβα μια αναδυόμενη ειδοποίηση στο Zoom:

Αυτή η συνάντηση αναλύεται. Οι πάροχοι Pindrop Security και τρίτων καταγράφουν ήχο και βίντεο της συνάντησής σας για να προσδιορίσουν εάν είστε πραγματικό πρόσωπο ή/και το σωστό άτομο. Κάνοντας κλικ στο “Συναίνεση” παρακάτω, συναινείτε στο Pindrop να συλλέγει, να χρησιμοποιεί και να αποθηκεύει τη σύσκεψή σας, τις σαρώσεις ήχου, φωνής και προσώπου (που μπορεί να θεωρούνται βιομετρικές πληροφορίες) και τη διεύθυνση IP σας (για την περαιτέρω αναγνώριση της πολιτείας, της επαρχίας ή της χώρας σας) για τους σκοπούς που περιγράφονται παραπάνω.

Με διαβεβαίωσαν ότι το πρόσωπο, η φωνή και η διεύθυνση IP μου θα διατηρηθούν για όχι περισσότερο από 90 ημέρες.

Ο Holland μου είπε ότι οι εταιρείες έχουν πλέον κατακλυστεί από ψεύτικους αιτούντες εργασία – κατά ειρωνικό τρόπο, αυτό συνέβη ακόμη και στο Pindrop. «Βλέπουμε ένα ευρύ φάσμα αυτού», είπε ο Holland. «Βλέπουμε πού κάνουν οι άνθρωποι πραγματικά τη δουλειά τους, ίσως εργάζονται στον τομέα της πληροφορικής». “Είχαμε πελάτες που προσέλαβαν κάποιον, αλλά στη συνέχεια αυτό το άτομο έκανε παραπομπές. Προσέλαβαν άλλα δύο άτομα και αποδείχθηκε ότι ήταν το ίδιο άτομο που προσλήφθηκε τρεις φορές χρησιμοποιώντας τρεις διαφορετικές φωνές, τρία διαφορετικά πρόσωπα και τρεις διαφορετικές ταυτότητες Slack.”

Συνήθως, αυτοί δεν είναι χαρακτήρες βίντεο που δημιουργούνται αποκλειστικά από AI. Είναι άνθρωποι που χρησιμοποιούν deepfakes για να αλλάξουν τα χαρακτηριστικά τους, σχεδόν σαν μια ψηφιακή μάσκα. Υπήρχε ένα κόλπο για να το ανακαλύψετε: ζητώντας από ένα άτομο να τοποθετήσει τρία δάχτυλα μπροστά στο πρόσωπό του.

“Αυτό δεν λειτουργεί καθόλου τώρα. Τα μοντέλα AI είναι τόσο καλά που μπορούν να δημιουργήσουν απολύτως χέρια και μπορείτε να βάλετε τα χέρια σας μπροστά στο πρόσωπό σας”, είπε ο Holland. «Είναι βασικά ανεπαίσθητο στα μάτια σου τώρα».

Ο Liesl του Reality Defender μου είπε ότι όσο βελτιώνεται η τεχνολογία, οι επιθέσεις γίνονται λιγότερο απαιτητικές. Ενώ οι απατεώνες υποδύονταν ένα μόνο στέλεχος, τώρα στοχεύουν εργαζόμενους σε όλα τα επίπεδα της εταιρείας. Μου είπε για μια πρόσφατη επίθεση σε μια εισηγμένη εταιρεία που αρνήθηκε να κατονομάσει, όπου ο απατεώνας πήγε στο LinkedIn, τράβηξε το όνομα κάθε υπαλλήλου και στη συνέχεια ξέσπασε το TikTok και το Facebook για να δημιουργήσει μια «δεξαμενή πληροφοριών» και να πάρει ένα φωνητικό αποτύπωμα για καθένα από αυτά τα άτομα. Οι πληροφορίες και τα φωνητικά αποτυπώματά τους τοποθετήθηκαν στο λογισμικό του LLM, το οποίο δημιούργησε ένα παράθυρο και χάρτη με βάση τα συμφραζόμενα και στη συνέχεια «σκόρπισε ολόκληρη την εταιρεία» καλώντας υπαλλήλους σε όλα τα επίπεδα.

«Στην κυβερνοασφάλεια, μιλάμε για αυτά τα πράγματα που ονομάζονται «όρια εμπιστοσύνης»», είπε ο Liesl. “Το πρόβλημα με τα deepfakes είναι ότι υπάρχουν πάντα σιωπηρά όρια εμπιστοσύνης, που είναι ότι το να βλέπεις και να ακούς είναι να πιστεύεις. Έχουμε περάσει περισσότερα από 40.000 χρόνια πιστεύοντας στα αυτιά και στα μάτια μας, αλλά τώρα δεν μπορούμε.

Επί του παρόντος, αυτό το πρόγραμμα απευθύνεται μόνο σε μεγαλύτερες εταιρείες – έχουν την ανάγκη, τον υψηλό κίνδυνο και τα χρήματα να πληρώσουν για αυτό. Αλλά οι απλοί άνθρωποι δεν έχουν λογισμικό ανίχνευσης deepfake και δεν θα το έχουν στο εγγύς μέλλον. Όπως εξηγεί ο Holland, η μεγαλύτερη πρόκληση για τη μαζική υιοθέτηση είναι η ευαισθητοποίηση, καθώς «πολλοί καταναλωτές δεν γνωρίζουν την απειλή, επομένως δεν ξέρουν πώς να αναζητήσουν μια λύση – το σημείο μηδέν είναι με τις εταιρείες που εξυπηρετούν τον καταναλωτή». Η Pindrop δεν έχει ακόμη καταναλωτικό προϊόν, αλλά δεν έχει αποκλείσει το ενδεχόμενο να αναπτύξει ένα στο μέλλον. Η πρόκληση, είπε ο Holland, είναι «να γίνουν αυτά τα συστήματα γρήγορα, ακριβή και αρκετά αξιόπιστα ώστε οι άνθρωποι να βασίζονται στις καθημερινές στιγμές».

Το Reality Defender έχει διαφορετική οπτική. Ένα καταναλωτικό προϊόν θα δημιουργούσε έναν «άνισο και ασταθή χώρο παιχνιδιού για τους ανθρώπους», είπε ο Steinhardt.

“Σκεφτείτε το σαν ένα πρόγραμμα προστασίας από ιούς: Ενώ παλαιότερα αυτό ήταν κάτι για το οποίο οι άνθρωποι ανησυχούσαν (ή, χειρότερα, όχι), τώρα τα προγράμματα περιήγησής μας, οι πάροχοι ηλεκτρονικού ταχυδρομείου, οι ISP και παρόμοια σαρώνουν αρχεία προτού φτάσουν στον υπολογιστή μας για κακόβουλο λογισμικό”, είπε ο Steinhardt. «Αυτή είναι η προσέγγισή μας για τον εντοπισμό των deepfakes».

Το deepfake μου δεν μπόρεσε να ξεγελάσει την οικογένειά μου, αλλά δεν το έβαλα πραγματικά σε δοκιμή. Για χρόνια, οι υπηρεσίες επιβολής του νόμου σε όλη τη χώρα προειδοποιούσαν για μια απάτη απαγωγής σε βαθιά κατάδυση: Ένας γονέας θα λάβει μια κλήση από μια πολύ πειστική φωνή που θα ζητά βοήθεια και στη συνέχεια ο «απαγωγέας» θα ζητήσει λύτρα. Ακόμα κι αν ο ήχος δεν είναι απόλυτα πειστικός, το κλάμα και το ουρλιαχτό είναι πειστικά. Δεν άντεχα τον εαυτό μου να το κάνω αυτό στους γονείς μου, ακόμα κι αν ήταν ψεύτικο. Σκέφτηκα εν συντομία άλλες απάτες: θα μπορούσα να είχα επικοινωνήσει με την τράπεζά μου ή ίσως με την εταιρεία ασφάλισης υγείας μου, αλλά η ιδέα να κλειδώσω τον εαυτό μου έξω από τους δικούς μου λογαριασμούς – ή να διαπράξω πραγματική, νόμιμη απάτη – με έκανε να νιώσω απογοητευμένος από την εμπειρία. Αντίθετα, τηλεφώνησα στον αδερφό μου. «Ω, όχι», είπε μόλις η φωνή τον χαιρέτησε. Και ούτε αυτός εξαπατήθηκε.