Μεγάλα γλωσσικά μοντέλα όπως το ChatGPT αυξάνουν την παραγωγή άρθρων, ιδίως για μη αγγλόφωνους επιστήμονες. Πολλά άρθρα με AI υστερούν στην αξιολόγηση από ομότιμους.
Καθώς οι επιστήμονες βασίζονται ολοένα και περισσότερο στην τεχνητή νοημοσύνη για τη συγγραφή, τον προγραμματισμό και ακόμη και τη δημιουργία ιδεών, μια νέα μελέτη εξετάζει πώς η AI αναδιαμορφώνει την ακαδημαϊκή έρευνα.
Αυτό που κάποτε έμοιαζε με πανεπιστημιακό κουτσομπολιό πλέον αποτυπώνει μια πραγματική και μετρήσιμη μεταστροφή στις επιστημονικές δημοσιεύσεις.
Ερευνητές του Πανεπιστημίου Κορνέλ, στις Ηνωμένες Πολιτείες, διαπίστωσαν ότι τα μεγάλα γλωσσικά μοντέλα (LLMs), όπως το ChatGPT, αυξάνουν την παραγωγή επιστημονικών εργασιών, ιδιαίτερα για επιστήμονες που δεν είναι φυσικοί ομιλητές της αγγλικής.
Ωστόσο, η μελέτη προειδοποιεί ότι ο αυξανόμενος όγκος εργασιών με τη συνδρομή AI δυσκολεύει τους κριτές, τους χρηματοδότες και τους υπεύθυνους χάραξης πολιτικής να ξεχωρίσουν τις ουσιαστικές επιστημονικές συνεισφορές από τις εργασίες χαμηλής ποιότητας.
«Πρόκειται για ένα πολύ διαδεδομένο φαινόμενο, σε διαφορετικούς κλάδους της επιστήμης, από τις φυσικές και την επιστήμη υπολογιστών έως τις βιολογικές και τις κοινωνικές επιστήμες», δήλωσε ο Yian Yin, ο υπεύθυνος αλληλογραφίας της μελέτης και επίκουρος καθηγητής επιστήμης της πληροφορίας στο Cornell Ann S. Bowers College of Computing and Information Science.
«Στο σημερινό οικοσύστημα συντελείται μια μεγάλη μετατόπιση που απαιτεί πολύ σοβαρή εξέταση, ιδίως από όσους αποφασίζουν ποια επιστήμη πρέπει να στηρίξουμε και να χρηματοδοτήσουμε», πρόσθεσε ο Yin.
Πώς μελέτησαν οι ερευνητές την εμφάνιση εργασιών με τη συνδρομή AI;
Η μελέτη, που δημοσιεύτηκε στο περιοδικό Science, ανέλυσε περισσότερες από δύο εκατομμύρια ερευνητικές εργασίες που αναρτήθηκαν την περίοδο 2018-2024 σε τρία μεγάλα διαδικτυακά αποθετήρια προδημοσιεύσεων.
Αυτές οι πλατφόρμες φιλοξενούν πρώιμες εκδοχές επιστημονικών εργασιών πριν από την επίσημη ομότιμη αξιολόγηση, προσφέροντας εικόνα σε πραγματικό χρόνο για το πώς δουλεύουν οι ερευνητές.
Για να εκτιμήσουν τον αντίκτυπο της AI στη συγγραφή επιστημονικών κειμένων, οι ερευνητές εκπαίδευσαν ένα σύστημα AI να εντοπίζει κείμενο που πιθανότατα έχει παραχθεί από LLMs. Σύγκριναν εργασίες που γράφτηκαν πριν από το 2023, όταν εργαλεία όπως το ChatGPT άρχισαν να χρησιμοποιούνται ευρέως, με μεταγενέστερες που έδειχναν σαφή σημάδια συνδρομής AI.
Με αυτή την προσέγγιση, η ομάδα εντόπισε ερευνητές που πιθανότατα χρησιμοποιούν εργαλεία AI, μέτρησε πώς άλλαξε η εκδοτική τους παραγωγή και παρακολούθησε αν οι εργασίες αυτές έγιναν αργότερα δεκτές από επιστημονικά περιοδικά.
Η συνδρομή AI οδηγεί σε άλμα παραγωγικότητας
Η ανάλυσή τους έδειξε μια μεγάλη ώθηση στην παραγωγικότητα χάρη στην AI.
Οι επιστήμονες που φάνηκε να χρησιμοποιούν εργαλεία AI ανάρτησαν πολύ περισσότερες εργασίες από όσους δεν τα χρησιμοποιούσαν.
Σε ένα μεγάλο αποθετήριο προδημοσιεύσεων με επίκεντρο τη φυσική και την επιστήμη υπολογιστών, οι χρήστες AI παρήγαγαν περίπου κατά ένα τρίτο περισσότερες εργασίες. Στη βιολογία και τις κοινωνικές επιστήμες, η αύξηση ήταν ακόμη μεγαλύτερη, πάνω από 50%.
Τα μεγαλύτερα κέρδη καταγράφηκαν μεταξύ ερευνητών των οποίων η μητρική γλώσσα δεν είναι τα αγγλικά.
Σε ορισμένα ασιατικά ιδρύματα, οι επιστήμονες δημοσίευσαν από 40% έως σχεδόν 90% περισσότερες εργασίες μετά την υιοθέτηση εργαλείων συγγραφής AI, ανάλογα με το πεδίο.
Τα εργαλεία AI φαίνεται επίσης να βοηθούν τους ερευνητές να βρίσκουν καλύτερες βιβλιογραφικές αναφορές. Η μελέτη διαπίστωσε ότι τα εργαλεία αναζήτησης με AI ήταν πιθανότερο να αναδείξουν νεότερες ερευνητικές εργασίες και σχετικά βιβλία, αντί για τις παλαιότερες, συχνά αναφερόμενες μελέτες που προτιμούν οι παραδοσιακές μέθοδοι αναζήτησης.
«Όσοι χρησιμοποιούν LLMs συνδέονται με πιο ποικιλόμορφη γνώση, κάτι που ίσως τροφοδοτεί πιο δημιουργικές ιδέες», είπε ο Keigo Kusumegi, πρώτος συγγραφέας της μελέτης και διδακτορικός φοιτητής στο Τμήμα Επιστήμης της Πληροφορίας, Πανεπιστήμιο Κορνέλ.
Ανησυχίες για την ποιότητα των εργασιών που γράφονται με AI
Ωστόσο, η αύξηση της παραγωγικότητας έχει και κόστος. Πολλές εργασίες που γράφτηκαν με AI έμοιαζαν εντυπωσιακές επιφανειακά, αλλά ήταν λιγότερο πιθανό να περάσουν την ομότιμη αξιολόγηση.
Και στα τρία αποθετήρια προδημοσιεύσεων, οι εργασίες που πιθανότατα γράφτηκαν από ανθρώπους και συγκέντρωσαν υψηλή βαθμολογία σε τεστ πολυπλοκότητας γραφής είχαν τις περισσότερες πιθανότητες να γίνουν δεκτές σε επιστημονικό περιοδικό.
Αντίθετα, εργασίες με υψηλή βαθμολογία που πιθανότατα γράφτηκαν από LLMs είχαν λιγότερες πιθανότητες αποδοχής, κάτι που υποδηλώνει ότι, παρά την πειστική γλώσσα, οι κριτές έκριναν πολλές από αυτές ως χαμηλής επιστημονικής αξίας.
Οι ερευνητές πίσω από τη μελέτη εκτιμούν ότι ο αντίκτυπος της αυξανόμενης εξάρτησης από την AI θα διευρυνθεί και ότι οι υπεύθυνοι χάραξης πολιτικής θα πρέπει να θεσπίσουν νέους κανόνες για να ρυθμίσουν το ταχέως εξελισσόμενο τεχνολογικό τοπίο.
«Ήδη τώρα, το ερώτημα δεν είναι “Χρησιμοποιήσατε AI;”. Το ερώτημα είναι “Πώς ακριβώς χρησιμοποιήσατε την AI και αν είναι χρήσιμη ή όχι”», είπε ο Yin.