Τα συστήματα δημιουργικής τεχνητής νοημοσύνης, συμπεριλαμβανομένων εκείνων όπως το ChatGPT, είναι γνωστό ότι έχουν περιορισμούς και οι δημιουργοί τους αναγνωρίζουν ανοιχτά αυτό το γεγονός. Αυτό καθιστά προβληματική την εφαρμογή τους στη δημιουργία κώδικα, όπως αποδεικνύεται από μια μελέτη που διεξήχθη από το Πανεπιστήμιο Purdue.
Στη μελέτη, το ChatGPT ανέλαβε να απαντήσει σε 517 ερωτήσεις προγραμματισμού λογισμικού από το Stack Overflow, ενώ στη συνέχεια ζητήθηκε από δώδεκα εθελοντές να αξιολογήσουν τα αποτελέσματα. Οι απαντήσεις αξιολογήθηκαν όχι μόνο ως προς την ακρίβεια, αλλά και ως προς τη συνέπεια, την πληρότητα και τη συντομία. Το γλωσσικό ύφος και το συναίσθημα λήφθηκαν επίσης υπόψη.
Οι επιδόσεις του ChatGPT σε αυτό το πείραμα δεν ήταν και τόσο αστρικές, με το σύστημα τεχνητής νοημοσύνης να απαντά σωστά μόνο στο 48% των ερωτήσεων. Επιπλέον, το 77% των απαντήσεων θεωρήθηκε υπερβολικά φλύαρο.
Ωστόσο, αυτό που ήταν ιδιαίτερα αξιοσημείωτο ήταν ότι σχεδόν το 40% των απαντήσεων του ChatGPT προτιμήθηκε από τους συμμετέχοντες, παρά το γεγονός ότι το 77% αυτών των προτιμώμενων απαντήσεων ήταν λανθασμένες. Οι συγγραφείς της μελέτης, οι ερευνητές Samia Kabir, David Udo-Imeh, Bonan Kou και ο επίκουρος καθηγητής Tianyi Zhang, παρατήρησαν ότι ο περιεκτικός, ευκρινής και γεμάτος αυτοπεποίθηση τόνος της τεχνητής νοημοσύνης έκανε τις λανθασμένες απαντήσεις της να φαίνονται πειστικές.
Το έγγραφο υπογραμμίζει ότι “όταν το λάθος δεν είναι εύκολα επαληθεύσιμο ή απαιτεί εξωτερικά εργαλεία ή τεκμηρίωση, οι χρήστες συχνά αποτυγχάνουν να εντοπίσουν την ανακρίβεια ή υποτιμούν την έκταση του λάθους στην απάντηση”. Σε ορισμένες περιπτώσεις, ακόμη και αν η απάντηση της ΤΝ ήταν σαφώς λανθασμένη, οι συμμετέχοντες εξακολουθούσαν να την προτιμούν λόγω του ελκυστικού γλωσσικού ύφους της ΤΝ.
Οι ερευνητές εξήγησαν περαιτέρω ότι πολλές από τις λανθασμένες απαντήσεις του ChatGPT προέκυψαν από την αδυναμία του συστήματος να κατανοήσει το υποκείμενο πλαίσιο της ερώτησης.
Οι προειδοποιήσεις σχετικά με τις πιθανές ανακρίβειες της δημιουργικής ΤΝ περιλαμβάνονται συνήθως στις σελίδες των προϊόντων και αρκετές εταιρείες τεχνολογίας έχουν εκφράσει ανησυχίες σχετικά με το να βασίζονται σε τέτοια εργαλεία. Η Google έχει προειδοποιήσει τους υπαλλήλους της σχετικά με τους κινδύνους από τη χρήση chatbots για κωδικοποίηση, συμπεριλαμβανομένου του δικού της προϊόντος, του Bard. Παρά τις περιστασιακές ανεπιθύμητες προτάσεις κώδικα του Bard, η Google υποστηρίζει ότι μπορεί να αποτελέσει χρήσιμο εργαλείο για τους προγραμματιστές, αλλά δίνει έμφαση στη διαφάνεια σχετικά με τους περιορισμούς του. Άλλες εταιρείες, όπως η Apple, η Amazon και η Samsung, έχουν προχωρήσει ένα βήμα παραπέρα και έχουν απαγορεύσει εντελώς το ChatGPT.
Διαβάστε επίσης:
