Ως απάντηση στο αίτημα δημόσιας καταγραφής του WIRED, η Avon και η αστυνομία του Somerset παρείχαν εκτενή δεδομένα απόδοσης για 13 μοντέλα κινδύνου που χρησιμοποιήθηκαν μεταξύ 2017 και 2024. Σε αυτά περιλαμβάνονται μοντέλα που χρησιμοποιούνται για την πρόβλεψη αγνοουμένων, αντικοινωνική συμπεριφορά και ποιος είναι πιο πιθανό να διαπράξει ή να πέσει θύμα εγκλήματος. Το WIRED διαβίβασε αυτά τα δεδομένα μαζί με άλλες πληροφορίες σχετικά με τα προγράμματα επιστήμης δεδομένων Avon και Somerset Police στην ανεξάρτητη εταιρεία ελέγχου τεχνητής νοημοσύνης Eticus για έλεγχο. Η ετυμηγορία ήταν τρομερή.
“Τα περισσότερα από αυτά τα μοντέλα παράγουν βαθμολογίες με χαμηλή ακρίβεια, πράγμα που σημαίνει ότι ένα υψηλό ποσοστό ατόμων που επισημαίνονται ως σε κίνδυνο αναγνωρίζονται εσφαλμένα”, βρέθηκε μια ανασκόπηση δεδομένων. Σύμφωνα με στοιχεία της αστυνομίας, το μοντέλο που χρησιμοποιείται για την πρόβλεψη ληστειών φαίνεται να λειτουργούσε με βαθμολογία ακρίβειας μικρότερη του 10% για περισσότερα από τρία χρόνια. Σύμφωνα με την Eticas, αυτό σημαίνει ότι λιγότερο από ένα στα 10 άτομα που επισημαίνονται ως υψηλού κινδύνου διαπράττουν στην πραγματικότητα ένα έγκλημα. Άλλες ανησυχίες περιελάμβαναν γρήγορες αλλαγές στις μετρήσεις απόδοσης για διάφορα μοντέλα. «Αυτό δεν είναι τυπικό παράδειγμα ενός καλά διαχειριζόμενου μοντέλου λειτουργίας», ανέφερε ο έλεγχος.
Ένας εκπρόσωπος της αστυνομίας Avon και Somerset είπε στο WIRED ότι η δύναμη επέλεξε να μην αναπτύξει ορισμένα από τα μοντέλα που έχει αναπτύξει, συμπεριλαμβανομένων εκείνων που σχετίζονται με ληστεία. Ερωτηθείς γιατί η δύναμη διατήρησε δεδομένα ελέγχου και απόδοσης ετών για μοντέλα που δεν χρησιμοποίησε, ένας εκπρόσωπος είπε ότι η διαδικασία ελέγχου ήταν «αυτοματοποιημένη» και χρησιμοποίησε δεδομένα από «στατικά αρχεία που δεν διαγράφηκαν όταν ελήφθη η απόφαση να μην αναπτυχθούν τα μοντέλα».
Η αστυνομία απέρριψε αιτήματα συνεντεύξεων σχετικά με την πρωτοβουλία της επιστήμης δεδομένων και δεν απάντησε πλήρως σε μια λεπτομερή λίστα ερωτήσεων. Εκπρόσωπος της αστυνομίας Avon και Somerset δήλωσε: «Κάθε μοντέλο βαθμολογείται με βάση την απόδοσή του και ενημερώνεται ή αναστέλλεται εάν εντοπιστούν προβλήματα», προσθέτοντας ότι τα μοντέλα εξετάζονται από ειδικούς της αστυνομίας πριν αναπτυχθούν.
Δεν είναι σαφές ποια μέτρα έχουν λάβει η Avon και η αστυνομία του Somerset για να αντιμετωπίσουν τους κινδύνους που εγείρονταν από τις δικές τους επιτροπές δεοντολογίας στις πρώτες ημέρες των δραστηριοτήτων τους στην επιστήμη δεδομένων. Η επιτροπή δεν φαίνεται να έχει ξανασυζητήσει προγνωστικά αναλυτικά στοιχεία από το 2017, σύμφωνα με τα αρχεία των αιτημάτων αποκάλυψης. Η Avon και η αστυνομία του Somerset αναφέρουν επίσης στον ιστότοπό τους ότι «κάθε προϊόν και έργο» που αναλαμβάνονται ως μέρος της εργασίας τους στην επιστήμη δεδομένων εξετάζεται από μια ειδική ομάδα δεοντολογίας, αλλά ένας εκπρόσωπος είπε στο WIRED ότι «δεν έχουν πραγματοποιηθεί συναντήσεις μέχρι σήμερα», καθώς «δεν έχουν δημιουργηθεί μοντέλα στα οποία έχουν εντοπιστεί πιθανά ηθικά ζητήματα».
Απαντώντας σε αίτημα για δημόσια αρχεία, η αστυνομία της Avon και του Somerset παρείχε στιγμιότυπα οθόνης μιας «εφαρμογής ελέγχου προκατάληψης» που υποτίθεται ότι παρακολουθεί και συγκρίνει τη μέση βαθμολογία κινδύνου λευκών και έγχρωμων ανθρώπων, καταλήγοντας στο συμπέρασμα ότι «δεν υπάρχει σημαντική διαφορά μεταξύ των δύο». Η ανασκόπηση του Eticas είπε ότι «η απλή συμπερίληψη της εθνότητας ως μεταβλητής παρακολούθησης δεν ισοδυναμεί με τον έλεγχο του εάν το μοντέλο παράγει αποτελέσματα που προκαλούν διακρίσεις» και αποκάλεσε «σοβαρή παράλειψη» την έλλειψη λεπτομερέστερων δοκιμών ανά εθνικότητα, φύλο και κοινωνικοοικονομική κατάσταση.
Ερωτηθείς εάν πιστεύει ότι η προγνωστική ανάλυση έχει να παίξει ρόλο στην αστυνόμευση και τις κοινωνικές υπηρεσίες, ο Ντέιβις είπε ότι χρειάζεται περισσότερη έρευνα. «Όταν προσπαθούσαμε να το κάνουμε, προσπαθούσαμε να το κάνουμε για τους σωστούς λόγους και με τον σωστό τρόπο, και μάλλον δεν είχαμε τις δυνατότητες που χρειαζόμασταν». Μέρος αυτής της έρευνας θα πρέπει να εξετάσει πώς τα μοντέλα κινδύνου μπορούν να παρέχουν πληροφορίες χωρίς να επιβάλλουν προκαταλήψεις στους εργαζόμενους, λέει. «Υπάρχει κίνδυνος το προσωπικό να δει τι λέει ο υπολογιστής και να μην πάρει τις δικές του αποφάσεις».
Η προγνωστική ανάλυση συνεχίζει να διαδραματίζει σημαντικό ρόλο στην αστυνόμευση και τις δημόσιες υπηρεσίες στην περιοχή. Το Δημοτικό Συμβούλιο του Μπρίστολ εξακολουθεί να χρησιμοποιεί ένα μοντέλο βαθμολόγησης κινδύνου για να αξιολογήσει την πιθανότητα ένα παιδί να εγκαταλείψει την εκπαίδευση, την απασχόληση ή την κατάρτιση. Τα πιο πρόσφατα δεδομένα ελέγχου από την αστυνομία της Avon και του Somerset, που δόθηκαν τον περασμένο Ιούλιο, δείχνουν ότι τα μοντέλα που χρησιμοποιούνται σε εφαρμογές διαχείρισης παραβατών προέβλεψαν σωστά μόνο έναν στους τρεις ανθρώπους που θα διέπρατταν πραγματικά ένα έγκλημα και δεν πρόβλεψαν ένα στα τέσσερα άτομα που επισημάνθηκαν ως πιθανοί παραβάτες.