Μόλις καθοριστούν τα μοντέλα που καλύπτονται, ο Nguyen προειδοποίησε ότι η αποτελεσματικότητα των δοκιμών ασφαλείας πιθανότατα θα εξαρτηθεί από το εάν οι οργανισμοί τεχνητής νοημοσύνης είναι πλήρως διαφανείς και αντιμετωπίζουν τη διαδικασία ως “γνήσια συνεργασία”.
“Κάτω από το πρόβλημα ορισμού κρύβεται ένα πρόβλημα παρατήρησης”, γράφει ο Nguyen. «Οι κυβερνήσεις δεν μπορούν να εκτιμήσουν αυτό που δεν μπορούν να δουν και οι συνοριακές δυνάμεις είναι ορατές μόνο στα εργαστήρια που τις δημιουργούν».
Ο Ferren πρότεινε ότι “το παράθυρο για την ανάπτυξη ακριβών άμυνες στον κυβερνοχώρο σε νέα μοντέλα AI μπορεί επίσης να κλείσει γρήγορα” και ότι ακόμη και ένα καλά σχεδιασμένο κυβερνητικό πρόγραμμα μπορεί να δυσκολευτεί να δοκιμάσει σωστά μοντέλα συνόρων σε τόσο σύντομο χρονικό διάστημα. «Ακόμη και όταν εφαρμόζεται σωστά, οι δοκιμές πριν από την ανάπτυξη έχουν περιορισμούς», είπε ο Ferren, προσθέτοντας ότι η ομάδα πληροφοριών απειλών της Google έχει βρει κρατικούς παράγοντες που χρησιμοποιούν μοντέλα συνόρων για την αυτοματοποίηση των επιθέσεων στον κυβερνοχώρο και «οι ερευνητές έχουν να δείξει Αυτό το επιχείρημα ευπάθειας τύπου mythos μπορεί να αναπαραχθεί με ένα σύστημα ανοιχτού βάρους».
Έτσι, ενώ η τεχνητή νοημοσύνη μπορεί να υποβληθεί οικειοθελώς σε δοκιμές, μπορεί να έχουν οικονομικά κίνητρα να αναζητήσουν μια σφραγίδα αντί να συνεργαστούν με την κυβέρνηση για να δοκιμάσουν το πλήρες φάσμα των γνωστών συνοριακών δυνατοτήτων τους.
«Πιθανώς θα αποδειχθεί δύσκολο να αναπτυχθούν μοντέλα που δεν είναι ικανά για κακόβουλο hacking, αλλά παραμένουν εμπορικά συναρπαστικά», είπε ο Ferren.
Κατέληξε στο συμπέρασμα ότι ο ΕΟ «μπορεί να παρέχει βραχυπρόθεσμα οφέλη στον κυβερνοχώρο», αλλά ο «μακροπρόθεσμος αντίκτυπος» παραμένει «ασαφής».
Ο Nguyen πρότεινε στον ΕΟ να λάβει τα απαραίτητα μέτρα για τη δημιουργία «κατηγοριοποιημένης συγκριτικής αξιολόγησης στον κυβερνοχώρο, εθελοντικές αξιολογήσεις πριν από την κυκλοφορία και ολοκληρωμένη σάρωση ευπάθειας» που «θα χρειάζεται η κοινότητα εθνικής ασφάλειας για δεκαετίες» για «συνεχή αξιολόγηση πιθανών συστημάτων που είναι ντετερμινιστικά, αυτόνομα και μεταβλητά με κάθε αλλαγή».
Αλλά οι δοκιμές ασφαλείας πρέπει να εξελιχθούν τόσο γρήγορα όσο η τεχνολογία, είπε ο Nguyen, διαφορετικά κινδυνεύουμε να αξιολογήσουμε τα αναδυόμενα μοντέλα σε σχέση με τους «χθεσινούς κινδύνους».
Αυτός είναι ο λόγος για τον οποίο, στον πυρήνα της, η διαδικασία θα εξαρτηθεί από μια ειλικρινή ανταλλαγή μεταξύ ενδιαφερόμενων μερών με βαθιά τεχνική εμπειρογνωμοσύνη και εμπιστευτικές γνώσεις για την εθνική ασφάλεια. «Ο μόνος τρόπος για να διασφαλιστεί ότι οι Ηνωμένες Πολιτείες επικεντρώνουν τις ενέργειές τους στην προστασία του κοινού από τους πιο αξιόπιστους και συνεπακόλουθους κινδύνους τεχνητής νοημοσύνης, αντί να παρέχουν επιτελεστικές διαβεβαιώσεις», έγραψε ο Nguyen.
