Εξαιρετική νοημοσύνη, ανεξήγητα λάθη και η ακρίβεια που οι εφαρμογές AI σπάνια αποκαλύπτουν
Εδώ και αρκετό καιρό χρησιμοποιώ καθημερινά και εκτεταμένα διαφορετικά συστήματα Τεχνητής Νοημοσύνης και AI Agents στην επαγγελματική μου δουλειά.
Δεν αναφέρομαι σε περιστασιακές ερωτήσεις προς ένα chatbot ούτε σε σύντομες δοκιμές εντυπωσιασμού. Μιλώ για πραγματική και συστηματική χρήση σε έρευνα, ανάλυση σύνθετων θεμάτων, σχεδιασμό λύσεων, επεξεργασία εγγράφων, συγγραφή, προγραμματισμό, τεχνική υποστήριξη και αξιολόγηση επιχειρηματικών επιλογών.
Μέσα από αυτή την καθημερινή τριβή έχω δει την Τεχνητή Νοημοσύνη να κάνει πράγματα που, πριν από λίγα χρόνια, θα θεωρούσαμε σχεδόν αδιανόητα.
Έχω δει έναν agent να συνδυάζει πληροφορίες από διαφορετικές πηγές, να εντοπίζει λεπτές αντιφάσεις, να προτείνει ουσιαστικές βελτιώσεις σε μια αρχιτεκτονική και να αναλύει ένα πρόβλημα με τρόπο που υποδηλώνει εξαιρετικά υψηλό επίπεδο σκέψης.
Έχω όμως δει τον ίδιο agent, λίγα λεπτά αργότερα, να αγνοεί μια ξεκάθαρη οδηγία, να επαναλαμβάνει ένα λάθος που μόλις του είχε επισημανθεί ή να καταλήγει, με απόλυτη αυτοπεποίθηση, σε ένα συμπέρασμα που δεν στηριζόταν στα διαθέσιμα δεδομένα.
Αυτή η αντίφαση είναι ίσως ένα από τα πιο χαρακτηριστικά γνωρίσματα της σημερινής εποχής των AI Agents.
Η μία τους πλευρά μοιάζει με τον Dr Jekyll: ικανή, δημιουργική, αναλυτική και, σε ορισμένες περιπτώσεις, πραγματικά εντυπωσιακή.
Η άλλη θυμίζει τον Mr Hyde: απρόβλεπτη, ασυνεπής και περιστασιακά τόσο παράλογη, ώστε δυσκολεύεσαι να πιστέψεις ότι προέρχεται από το ίδιο σύστημα.
Δεν πρόκειται για δύο διαφορετικές τεχνολογίες.
Πρόκειται για τις δύο όψεις της ίδιας τεχνολογίας.
Όσο περισσότερο τους χρησιμοποιώ, τόσο περισσότερο εντυπωσιάζομαι — και τόσο περισσότερο προσέχω
Η εκτεταμένη χρήση των AI Agents δεν με έχει οδηγήσει ούτε στην άκριτη αισιοδοξία ούτε στην πλήρη απόρριψή τους.
Με έχει οδηγήσει σε κάτι πιο σύνθετο.
Όσο περισσότερο τους χρησιμοποιώ, τόσο περισσότερο εντυπωσιάζομαι από όσα μπορούν να κάνουν. Ταυτόχρονα, όμως, τόσο λιγότερο θεωρώ δεδομένο ότι θα τα κάνουν σωστά, με συνέπεια και χωρίς ανθρώπινη επίβλεψη.
Αυτό είναι δύσκολο να γίνει αντιληπτό μέσα από μια σύντομη επίδειξη.
Σε ένα ελεγχόμενο demo, το σύστημα λαμβάνει συνήθως μια καλά διατυπωμένη ερώτηση, χρησιμοποιεί προσεκτικά επιλεγμένα δεδομένα και παρουσιάζει ένα αποτέλεσμα σχεδιασμένο να εντυπωσιάσει. Ο θεατής βλέπει την καλύτερη εκδοχή του προϊόντος.
Η καθημερινή εργασία, όμως, είναι διαφορετική.
Τα πραγματικά δεδομένα είναι συχνά ατελή. Τα έγγραφα έχουν διαφορετικές μορφές. Οι απαιτήσεις αλλάζουν. Οι οδηγίες μπορεί να είναι σύνθετες. Υπάρχουν εξαιρέσεις, αντιφάσεις και πληροφορίες που απουσιάζουν. Ένας agent πρέπει να διατηρήσει το πλαίσιο, να καταλάβει τι είναι σημαντικό, να χρησιμοποιήσει σωστά τα εργαλεία που διαθέτει και να αναγνωρίσει πότε δεν γνωρίζει κάτι.
Εκεί αρχίζει να εμφανίζεται η άλλη του πλευρά.
Μπορεί να αναλύσει σωστά ένα εξαιρετικά σύνθετο τεχνικό πρόβλημα και αμέσως μετά να χάσει μια προφανή λεπτομέρεια. Μπορεί να ακολουθήσει δέκα οδηγίες και να παραβιάσει την ενδέκατη, παρότι ήταν η σημαντικότερη. Μπορεί να εντοπίσει ένα δύσκολο λογικό σφάλμα και ταυτόχρονα να μην αντιληφθεί ότι χρησιμοποιεί λανθασμένη ημερομηνία, λάθος αρχείο ή δεδομένα άλλης περίπτωσης.
Μπορεί ακόμη να αναγνωρίσει ότι δεν διαθέτει επαρκείς πληροφορίες και, αντί να σταματήσει, να συμπληρώσει τα κενά με κάτι που ακούγεται εύλογο.
Το αποτέλεσμα συχνά δεν μοιάζει πρόχειρο ή αβέβαιο. Αντιθέτως, μπορεί να είναι καλογραμμένο, ολοκληρωμένο και πειστικό.
Ακριβώς γι’ αυτό είναι επικίνδυνο.
Το πρόβλημα δεν είναι ότι οι agents δεν είναι έξυπνοι
Η εύκολη κριτική θα ήταν να πούμε ότι η Τεχνητή Νοημοσύνη δεν είναι πραγματικά ευφυής.
Δεν πιστεύω ότι αυτή η διατύπωση περιγράφει σωστά όσα βλέπουμε.
Οι σύγχρονοι agents διαθέτουν πραγματικές και ουσιαστικές ικανότητες. Μπορούν να επιταχύνουν διαδικασίες, να υποστηρίξουν σύνθετες αναλύσεις, να προτείνουν εναλλακτικές λύσεις και να λειτουργήσουν ως εξαιρετικά παραγωγικοί συνεργάτες.
Το βασικό πρόβλημα δεν είναι η απουσία ικανότητας.
Είναι η απουσία σταθερότητας.
Οι agents δεν είναι απλώς περισσότερο ή λιγότερο ευφυείς. Παρουσιάζουν μεγάλες διακυμάνσεις στην ποιότητα της συμπεριφοράς τους. Η επίδοσή τους εξαρτάται από το πλαίσιο, τη διατύπωση της εργασίας, την ποιότητα των δεδομένων, τη διαχείριση της μνήμης, τα διαθέσιμα εργαλεία και τον τρόπο με τον οποίο έχει σχεδιαστεί ολόκληρη η διαδικασία γύρω τους.
Στον άνθρωπο θεωρούμε ότι η γνώση και η εμπειρία εμφανίζουν κάποια συνέχεια.
Ένας έμπειρος μηχανικός μπορεί να κάνει λάθος. Δεν περιμένουμε, όμως, να χάσει ξαφνικά την κατανόηση μιας βασικής αρχής του επαγγέλματός του και λίγο αργότερα να επανέλθει σε εξαιρετικά υψηλό επίπεδο.
Στους AI Agents αυτή η ασυνέχεια είναι συνηθισμένη.
Η κορυφαία απόδοση σε μία εργασία δεν αποτελεί εγγύηση ούτε για την αμέσως επόμενη.
Αυτό δημιουργεί ένα παράξενο φαινόμενο: η εντυπωσιακή τους ικανότητα μάς ωθεί να τους εμπιστευτούμε, ενώ η ασυνέπειά τους απαιτεί ακριβώς το αντίθετο — συνεχή έλεγχο.
Από την απάντηση στην πράξη
Το ζήτημα γίνεται πολύ σοβαρότερο όταν περνάμε από τα συστήματα συνομιλίας στους πραγματικούς agents.
Ένα chatbot απαντά σε μια ερώτηση. Μπορεί να δώσει μια λανθασμένη πληροφορία και ο χρήστης να την απορρίψει ή να τη διορθώσει.
Ένας agent, όμως, δεν περιορίζεται απαραίτητα στην παραγωγή κειμένου.
Μπορεί να αναζητήσει πληροφορίες, να διαβάσει αρχεία, να καλέσει APIs, να τροποποιήσει κώδικα, να ενημερώσει δεδομένα, να αποστείλει μηνύματα ή να εκτελέσει μια ολόκληρη αλληλουχία ενεργειών.
Με άλλα λόγια, μπορεί να μετατρέψει μια λανθασμένη εκτίμηση σε πραγματική ενέργεια.
Ο Mr Hyde δεν περιορίζεται πλέον στο να δώσει μια κακή απάντηση. Μπορεί να αποκτήσει πρόσβαση στις διαδικασίες, στα δεδομένα και στα συστήματά μας.
Γι’ αυτό η αξιολόγηση ενός agent δεν μπορεί να περιορίζεται στο ερώτημα:
«Πόσο έξυπνος είναι;»
Το σημαντικότερο ερώτημα είναι:
«Πόσο αξιόπιστα λειτουργεί όταν συναντά κάτι που δεν καταλαβαίνει, όταν τα δεδομένα είναι ασαφή ή όταν η αρχική του υπόθεση είναι λανθασμένη;»
Η επιχειρησιακή αξία ενός συστήματος δεν κρίνεται μόνο από την καλύτερη απάντηση που μπορεί να παράγει. Κρίνεται και από τη χειρότερη συμπεριφορά που μπορεί να εμφανίσει χωρίς να γίνει έγκαιρα αντιληπτή.
Ένα σύστημα που πετυχαίνει εντυπωσιακά αποτελέσματα στις περισσότερες περιπτώσεις μπορεί να είναι εξαιρετικά χρήσιμο ως βοηθός. Αυτό δεν σημαίνει απαραίτητα ότι είναι ασφαλές ως αυτόνομος εκτελεστής, ιδιαίτερα όταν ένα μικρό ποσοστό αποτυχίας μπορεί να προκαλέσει οικονομική ζημιά, απώλεια δεδομένων ή λανθασμένες αποφάσεις.
Η υπόσχεση της αγοράς
Την ίδια στιγμή, όλο και περισσότερες εταιρείες ενσωματώνουν AI στις εφαρμογές και στις υπηρεσίες τους.
Η Τεχνητή Νοημοσύνη χρησιμοποιείται πλέον ως βασικό εμπορικό επιχείρημα.
Οι εφαρμογές «κατανοούν» τα έγγραφά μας, «αναλύουν» τα δεδομένα μας, «αυτοματοποιούν» τη δουλειά μας, «απαντούν» στους πελάτες μας και «λαμβάνουν αποφάσεις» για λογαριασμό μας.
Το πρόβλημα δεν είναι απαραίτητα ότι αυτές οι υποσχέσεις είναι ψευδείς.
Πολλά από αυτά τα συστήματα πράγματι μπορούν να κάνουν όσα περιγράφονται.
Το κρίσιμο ερώτημα είναι πόσο συχνά τα κάνουν σωστά.
Εκεί η ενημέρωση προς τον πελάτη γίνεται συνήθως πολύ λιγότερο σαφής.
Οι εταιρείες μιλούν αναλυτικά για τις δυνατότητες των προϊόντων τους, αλλά σπάνια εξηγούν με την ίδια σαφήνεια πόσο συχνά αποτυγχάνει το σύστημα, σε ποιες συνθήκες έχει αξιολογηθεί, τι είδους λάθη κάνει και πόσο σοβαρές μπορεί να είναι οι συνέπειές τους.
Σπάνια εξηγούν πότε απαιτείται υποχρεωτικός ανθρώπινος έλεγχος, πώς πρέπει να αντιμετωπίζεται ένα αποτέλεσμα χαμηλής βεβαιότητας και ποιος φέρει την ευθύνη όταν η εφαρμογή παράγει μια λανθασμένη απόφαση ή εκτελεί μια λανθασμένη ενέργεια.
Αυτές οι πληροφορίες δεν είναι τεχνικές λεπτομέρειες.
Είναι μέρος της πραγματικής λειτουργικής αξίας του προϊόντος.
Τι σημαίνει πραγματικά «95% ακρίβεια»;
Ακόμη και όταν μια εταιρεία δημοσιεύει κάποιο ποσοστό ακρίβειας, αυτό δεν αρκεί από μόνο του.
Το «95% accuracy» ακούγεται εντυπωσιακό. Αλλά τι ακριβώς σημαίνει;
Μπορεί να σημαίνει ότι το σύστημα αναγνώρισε σωστά το 95% συγκεκριμένων πεδίων σε ένα ελεγχόμενο σύνολο εγγράφων.
Δεν σημαίνει απαραίτητα ότι ολοκλήρωσε σωστά το 95% των πραγματικών εργασιών.
Ένα έγγραφο μπορεί να περιέχει εκατό πεδία. Το σύστημα μπορεί να αναγνωρίσει σωστά τα ενενήντα πέντε και να αποτύχει στα πέντε. Αν όμως ένα από αυτά τα πέντε είναι το ποσό, η ημερομηνία, ο αριθμός λογαριασμού ή ο βασικός όρος μιας σύμβασης, το συνολικό αποτέλεσμα μπορεί να είναι άχρηστο ή ακόμη και επικίνδυνο.
Επομένως, δεν έχει σημασία μόνο πόσα λάθη κάνει ένα σύστημα.
Έχει σημασία και ποια λάθη κάνει.
Δεν έχουν όλα τα σφάλματα το ίδιο βάρος.
Ένα λάθος σε μια δημιουργική πρόταση μπορεί να διορθωθεί εύκολα. Ένα λάθος σε μια οικονομική πράξη, σε ένα νομικό έγγραφο, σε ένα ιατρικό δεδομένο ή σε μια εντολή διαγραφής μπορεί να προκαλέσει σοβαρή ζημιά.
Η ακρίβεια δεν είναι ένας ενιαίος αριθμός. Εξαρτάται από το είδος της εργασίας, τα δεδομένα, το πλαίσιο και το κόστος του λάθους.
Γι’ αυτό ένα γενικό ποσοστό, χωρίς επεξήγηση, μπορεί να δημιουργήσει περισσότερη σύγχυση παρά ενημέρωση.
Από τα εντυπωσιακά demos στη μετρήσιμη αξιοπιστία
Η αγορά της Τεχνητής Νοημοσύνης βρίσκεται ακόμη σε μια περίοδο όπου η εντυπωσιακή επίδειξη συχνά έχει μεγαλύτερη αξία από τη συστηματική αξιολόγηση.
Ένα επιτυχημένο demo μπορεί να γίνει viral. Μια αναλυτική αναφορά σφαλμάτων δύσκολα θα τραβήξει το ίδιο ενδιαφέρον.
Ωστόσο, όσο οι agents αποκτούν μεγαλύτερη αυτονομία και ενσωματώνονται σε κρίσιμες διαδικασίες, αυτή η κατάσταση δεν μπορεί να συνεχιστεί.
Οι εταιρείες δεν πρέπει να ενημερώνουν μόνο για το τι μπορεί να κάνει ένα σύστημα. Πρέπει να ενημερώνουν και για τα όριά του.
Μια σοβαρή εφαρμογή AI θα έπρεπε να συνοδεύεται από μια σαφή δήλωση αξιοπιστίας. Όχι από μια αόριστη υποσημείωση ότι «η Τεχνητή Νοημοσύνη μπορεί να κάνει λάθη», αλλά από συγκεκριμένες πληροφορίες.
Σε ποιες περιπτώσεις έχει δοκιμαστεί;
Με τι είδους δεδομένα;
Πώς μετρήθηκε η επιτυχία;
Ποιοι τύποι σφαλμάτων έχουν καταγραφεί;
Πότε το σύστημα σταματά και ζητά ανθρώπινη παρέμβαση;
Υπάρχει δυνατότητα επαλήθευσης της απάντησης;
Διατηρείται αρχείο των ενεργειών του;
Μπορεί μια λανθασμένη ενέργεια να ανακληθεί;
Αυτά είναι τα πραγματικά ερωτήματα της εποχής των AI Agents.
Δεν χρειαζόμαστε μόνο καλύτερα μοντέλα. Χρειαζόμαστε καλύτερα σχεδιασμένα συστήματα γύρω από τα μοντέλα: ελέγχους, περιορισμούς, επιβεβαιώσεις, δυνατότητα ανάκλησης ενεργειών, καταγραφή αποφάσεων και σαφή όρια αυτονομίας.
Δεν είναι ανάγκη να είναι τέλειοι. Είναι ανάγκη να είμαστε ειλικρινείς
Η κριτική αυτή δεν αποτελεί επιχείρημα εναντίον της Τεχνητής Νοημοσύνης.
Το αντίθετο.
Ακριβώς επειδή έχω χρησιμοποιήσει εκτεταμένα AI Agents και έχω δει την πραγματική τους αξία, θεωρώ απαραίτητο να αντιμετωπίζουμε με σοβαρότητα και τις αδυναμίες τους.
Οι agents μπορούν να αλλάξουν ουσιαστικά τον τρόπο με τον οποίο εργαζόμαστε. Μπορούν να αυξήσουν την παραγωγικότητα, να απελευθερώσουν χρόνο και να επιτρέψουν σε μικρότερες ομάδες να διαχειριστούν πολύ πιο σύνθετες εργασίες.
Δεν χρειάζεται να είναι αλάνθαστοι για να είναι χρήσιμοι.
Χρειάζεται όμως να γνωρίζουμε πότε είναι αξιόπιστοι, πότε χρειάζονται έλεγχο και πότε δεν πρέπει να έχουν τη δυνατότητα να ενεργήσουν μόνοι τους.
Σήμερα, πολλές επιχειρήσεις αγοράζουν εφαρμογές AI βασιζόμενες κυρίως σε υποσχέσεις δυνατοτήτων.
Στο μέλλον, θα πρέπει να τις αξιολογούν με βάση τη μετρήσιμη αξιοπιστία τους.
Όχι μόνο με βάση το τι πέτυχαν στην καλύτερη περίπτωση, αλλά και με βάση το πόσο συχνά αποτυγχάνουν, πώς αποτυγχάνουν και ποιους μηχανισμούς διαθέτουν για να περιορίσουν τις συνέπειες της αποτυχίας.
Οι δύο όψεις θα συνεχίσουν να συνυπάρχουν
Ο Dr Jekyll και ο Mr Hyde των AI Agents δεν πρόκειται να εξαφανιστούν άμεσα.
Θα συνεχίσουμε να βλέπουμε συστήματα που τη μία στιγμή παράγουν εξαιρετικά αποτελέσματα και την επόμενη κάνουν λάθη που φαίνονται ανεξήγητα.
Το ζητούμενο δεν είναι να αρνηθούμε τη μία από τις δύο όψεις.
Ούτε να επιλέξουμε ανάμεσα στον ενθουσιασμό και στον φόβο.
Το ζητούμενο είναι να σχεδιάσουμε τη χρήση τους γνωρίζοντας ότι υπάρχουν και οι δύο.
Να αξιοποιούμε την εντυπωσιακή τους ικανότητα χωρίς να μετατρέπουμε την ικανότητα σε τυφλή εμπιστοσύνη.
Να τους δίνουμε εργαλεία, αλλά όχι απεριόριστη εξουσία.
Να μετράμε την απόδοσή τους σε πραγματικές συνθήκες και όχι μόνο σε προσεκτικά σχεδιασμένες παρουσιάσεις.
Και κυρίως, να απαιτούμε από τις εταιρείες την ίδια διαφάνεια για τις αποτυχίες που επιδεικνύουν για τις επιτυχίες.
Αυτό είναι κάτι που προσπαθώ να εφαρμόζω και ο ίδιος, τόσο προσωπικά όσο και μέσα από τις εταιρείες στις οποίες συμμετέχω.
Δεν είναι πάντοτε εύκολο.
Όμως θεωρώ ότι η ειλικρίνεια αυτή είναι απαραίτητη. Δεν ζητώ από τις εταιρείες να σταματήσουν να μιλούν για όσα μπορεί να κάνει η Τεχνητή Νοημοσύνη. Ζητώ —και προσπαθώ να κάνω το ίδιο και στη δική μου επαγγελματική πρακτική— να μιλούν εξίσου καθαρά για το πόσο συχνά, υπό ποιες συνθήκες και με ποιες συνέπειες μπορεί να αποτύχει να τα κάνει.
Γιατί η νοημοσύνη εντυπωσιάζει.
Η συνέπεια, όμως, είναι αυτή που δημιουργεί εμπιστοσύνη.
