Ένα νέο σύστημα μηχανικής μάθησης έχει επισημάνει περισσότερες από 250.000 ερευνητικές εργασίες για τον καρκίνο που θα μπορούσαν να συνδεθούν με τη λεγόμενη «χαρτοποιία».
Έρευνα, που δημοσιεύτηκε BMJΕξέτασε 2,6 εκατομμύρια ερευνητικές εργασίες για τον καρκίνο που δημοσιεύθηκαν μεταξύ 1999 και 2024. Διευθύνθηκε από τον ερευνητή QUT, καθηγητή Adrian Barnett, από τη Σχολή Δημόσιας Υγείας και Κοινωνικής Εργασίας και το Αυστραλιανό Κέντρο Υπηρεσιών Υγείας και Καινοτομίας (AusHSI), με μια διεθνή ομάδα συνεργατών.
Οι ερευνητές διαπίστωσαν ότι περισσότερες από 250.000 εργασίες περιείχαν μοτίβα γραφής που βρέθηκαν σε μελέτες που είχαν ήδη ανακληθεί λόγω υποψίας απάτης.
“Οι χαρτοβιομηχανίες είναι εταιρείες που πωλούν ψεύτικες ή χαμηλής ποιότητας επιστημονική έρευνα. Παράγουν “έρευνα” σε βιομηχανική κλίμακα και τα αποτελέσματά μας υποδηλώνουν ότι το πρόβλημα στην έρευνα για τον καρκίνο είναι πολύ μεγαλύτερο από ό,τι αντιλαμβάνονται οι περισσότεροι”, δήλωσε ο καθηγητής Burnett.
Πώς οι χαρτοβιομηχανίες παράγουν ψεύτικες έρευνες
Οι χαρτοβιομηχανίες πωλούν συγγραφείς όρους και, σε ορισμένες περιπτώσεις, πλήρως προετοιμασμένες επιστημονικές εργασίες. Αυτές οι μελέτες μπορεί να περιέχουν επαναχρησιμοποιημένο κείμενο, ασυνήθιστη ή άβολη γλώσσα και κατασκευασμένα δεδομένα ή εικόνες.
“Πιθανώς, βασίζονται σε πρότυπα λέβητα που μπορούν να αναγνωριστούν από μεγάλα γλωσσικά μοντέλα που αναλύουν μοτίβα σε κείμενα”, είπε ο καθηγητής Barnett.
Για να αναζητήσουν αυτά τα μοτίβα, ο Barnett και οι συνεργάτες του εκπαίδευσαν ένα γλωσσικό μοντέλο που ονομάζεται BERT. Το σύστημα σχεδιάστηκε για να ανιχνεύει «δακτυλικά αποτυπώματα» λεπτών κειμένων που εμφανίζονται επανειλημμένα σε γνωστά προϊόντα χαρτοποιίας.
Όταν αξιολογήθηκε χρησιμοποιώντας επικυρωμένα παραδείγματα, το μοντέλο εντόπισε σωστά ύποπτα έγγραφα στο 91 τοις εκατό των περιπτώσεων.
«Ουσιαστικά δημιουργήσαμε ένα επιστημονικό φίλτρο ανεπιθύμητης αλληλογραφίας», είπε ο καθηγητής Barnett.
“Ακριβώς όπως το σύστημα email σας μπορεί να εντοπίσει ανεπιθύμητα μηνύματα, το εργαλείο μας επισημαίνει έγγραφα που ταιριάζουν με το στυλ και τη δομή γραφής που βλέπουμε σε ανακληθείσες, δόλιες εργασίες.”
Τα χαρτιά ύποπτου καρκίνου αυξήθηκαν
Η ανάλυση μεγάλης κλίμακας αποκάλυψε πολλές βασικές τάσεις:
Τα χαρτιά με σημαία έχουν αυξηθεί ραγδαία τις δύο τελευταίες δεκαετίες, από περίπου 1 τοις εκατό στις αρχές της δεκαετίας του 2000 σε περισσότερο από 16 τοις εκατό το 2022.
Το ύποπτο πρόβλημα εμφανίζεται σε χιλιάδες περιοδικά που δημοσιεύονται από μεγάλες εταιρείες, συμπεριλαμβανομένων εκείνων με ισχυρή φήμη και μεγάλη απήχηση.
Τα ύποπτα έγγραφα ήταν ιδιαίτερα κοινά σε τομείς όπως η μοριακή βιολογία του καρκίνου και η εργαστηριακή έρευνα πρώιμου σταδίου.
Ορισμένοι τύποι καρκίνου, συμπεριλαμβανομένων των καρκίνων του στομάχου, του ήπατος, των οστών και του πνεύμονα, είχαν ιδιαίτερα υψηλά ποσοστά σε επισημασμένες μελέτες.
Τα περιοδικά αρχίζουν να δοκιμάζουν εργαλεία AI
Τρία επιστημονικά περιοδικά δοκιμάζουν ήδη το σύστημα ως μέρος της διαδικασίας εκδοτικής τους αξιολόγησης. Ο σκοπός είναι να βοηθήσει τους εκδότες να εντοπίσουν πιθανά παραποιημένα χειρόγραφα, ώστε να μπορούν να σταλούν σε εξωτερικούς ειδικούς για αξιολόγηση από ομοτίμους.
Οι ερευνητές σχεδιάζουν επίσης να προσαρμόσουν το εργαλείο για χρήση σε άλλα επιστημονικά πεδία. Αναμένουν ότι η ακρίβειά του θα βελτιωθεί καθώς διατίθενται περισσότερα επιβεβαιωμένα παραδείγματα δραστηριότητας χαρτοποιίας.
Ωστόσο, η ομάδα τόνισε ότι τα έγγραφα που προσδιορίζονται από το σύστημα δεν θα πρέπει να θεωρούνται αυτόματα δόλια. Τα αποτελέσματα είναι προειδοποιητικά σημάδια, όχι οριστικά αποτελέσματα ανάρμοστης συμπεριφοράς, και κάθε περίπτωση πρέπει ακόμα να επανεξεταστεί από ειδικούς
Γιατί η ψευδής έρευνα μπορεί να βλάψει τους ασθενείς
«Η έρευνα για τον καρκίνο επηρεάζει τις κλινικές δοκιμές, την ανάπτυξη φαρμάκων και τη φροντίδα των ασθενών», είπε ο καθηγητής Barnett.
“Εάν ψεύτικες μελέτες εισέλθουν στη βάση αποδεικτικών στοιχείων, μπορούν να παραπλανήσουν πραγματικούς επιστήμονες και τελικά να καθυστερήσουν την πρόοδο για τους ασθενείς. Γι’ αυτό είναι σημαντικό να απομακρυνθούμε από αυτό το πρόβλημα.”
