«Ο agent το έκανε» δεν είναι άλλοθι
Η AI αποκτά μεγαλύτερη δυνατότητα να ενεργεί. Οι οργανισμοί που της παραχωρούν αυτή τη δυνατότητα πρέπει να μπορούν να εξηγήσουν τι έκανε, να περιορίσουν τις συνέπειες και να αναλάβουν την ευθύνη που τους αναλογεί.
Υπάρχει μια φράση που φοβάμαι ότι θα ακούμε όλο και συχνότερα τα επόμενα χρόνια.
«Δεν το έκανε κάποιος άνθρωπος. Το έκανε ο agent.»
Θα εμφανίζεται μετά από μια ανεπιθύμητη δημοσίευση, μια διαρροή δεδομένων, μια λανθασμένη συναλλαγή, μια αλλαγή σε ένα σύστημα που δεν έπρεπε να γίνει. Θα χρησιμοποιείται για να εξηγήσει ότι κανείς δεν έδωσε τη συγκεκριμένη εντολή. Ότι το σύστημα ακολούθησε μια διαδρομή που δεν είχε προβλεφθεί. Ότι η ενέργεια προέκυψε μέσα από μια ακολουθία βημάτων που κανείς δεν παρακολούθησε ολόκληρη.
Ως τεχνική περιγραφή, μπορεί να είναι ακριβής.
Ως απάντηση στο ερώτημα της ευθύνης, είναι ανεπαρκής.
Γιατί ένας agent μπορεί να επιλέγει τα ενδιάμεσα βήματα μιας εργασίας. Κάποιος, όμως, αποφάσισε προηγουμένως ότι αυτός ο agent θα έχει πρόσβαση σε δεδομένα, εργαλεία, λογαριασμούς και υποδομές. Κάποιος επέλεξε τον στόχο του, το περιβάλλον λειτουργίας του και τους όρους με τους οποίους θα μπορούσε να δράσει.
Η αυτονομία του συστήματος αρχίζει μέσα σε ένα πλαίσιο ανθρώπινων και οργανωτικών αποφάσεων.
Και η ευθύνη για αυτό το πλαίσιο δεν εξαφανίζεται επειδή η τελευταία ενέργεια εκτελέστηκε από λογισμικό.
Από την απάντηση στην πράξη
Μέχρι πρόσφατα, η δημόσια συζήτηση για την AI περιστρεφόταν κυρίως γύρω από όσα έλεγε. Αν η απάντηση ήταν σωστή. Αν επινοούσε πληροφορίες. Αν αναπαρήγαγε προκαταλήψεις. Αν παρουσίαζε μια αβέβαιη εκτίμηση με υπερβολική αυτοπεποίθηση.
Αυτά παραμένουν σημαντικά. Όμως, όταν η AI αποκτά εργαλεία, το πρόβλημα αλλάζει κλίμακα.
Μια λανθασμένη απάντηση μπορεί να επηρεάσει τον άνθρωπο που θα τη διαβάσει. Ένας agent μπορεί να χρησιμοποιήσει αυτή την απάντηση ως βάση για την επόμενη ενέργεια, να συνδεθεί σε ένα σύστημα, να μεταβάλει μια εγγραφή, να στείλει ένα μήνυμα ή να ενεργοποιήσει μια διαδικασία.
Η απόσταση ανάμεσα στην εκτίμηση και στη συνέπεια μικραίνει. Παράλληλα, αυξάνεται ο αριθμός των ενεργειών που μπορούν να πραγματοποιηθούν πριν κάποιος αντιληφθεί ότι κάτι δεν πηγαίνει όπως είχε σχεδιαστεί.
Στο «Dr Jekyll & Mr Hyde: The Two Faces of AI Agents» είχα ήδη σταθεί σε αυτή τη διπλή όψη: οι δυνατότητες που κάνουν έναν agent χρήσιμο μπορούν, υπό διαφορετικές συνθήκες, να κάνουν και την αστοχία του περισσότερο επιδραστική.
Σήμερα, το επόμενο ερώτημα είναι ποιος παραμένει υπόλογος όταν αυτή η δυνατότητα μετατρέπεται σε πραγματική δράση.
Η ανάθεση μιας εργασίας δεν ισοδυναμεί με αποχώρηση από την ευθύνη για τον τρόπο με τον οποίο οργανώθηκε και εκτελέστηκε.
Όταν η δυνατότητα ξεπερνά την εποπτεία
Τα περιστατικά που έχει δημοσιοποιήσει η OpenAI προσφέρουν ένα συγκεκριμένο σημείο αναφοράς.
Στην επίσημη περιγραφή του περιστατικού με το Hugging Face, η εταιρεία αναφέρει ότι agents σε ερευνητικό περιβάλλον απέκτησαν μη προβλεπόμενη πρόσβαση στο διαδίκτυο, εκμεταλλεύτηκαν ευπάθειες και επεκτάθηκαν σε υποδομές τρίτων. Διευκρινίζει επίσης ότι οι συγκεκριμένες αξιολογήσεις δεν χρησιμοποιούσαν το ίδιο επίπεδο προστασίας με τα συστήματα που διαθέτει εξωτερικά. Η διάκριση έχει σημασία: το περιστατικό δεν τεκμηριώνει ότι κάθε διαθέσιμος agent συμπεριφέρεται με τον ίδιο τρόπο. Δείχνει, όμως, πόσο καθοριστικά είναι το περιβάλλον και τα όρια λειτουργίας. openai.com
Στη μεταγενέστερη ενημέρωσή της, η OpenAI περιγράφει ευρύτερη έρευνα για δραστηριότητες των μοντέλων της κατά την εκπαίδευση και την αξιολόγηση. Αναφέρει ότι έχει ειδοποιήσει δεκάδες τρίτους και ότι η ανασκόπηση συνεχίζεται, απαιτώντας σημαντικό χρόνο και πόρους. openai.com
Εδώ βρίσκεται, κατά τη γνώμη μου, ένα από τα πιο ουσιαστικά προβλήματα.
Ένα σύστημα μπορεί να αποκτά δυνατότητες δράσης ταχύτερα από όσο ο οργανισμός που το αναπτύσσει αποκτά δυνατότητες πλήρους εποπτείας αυτής της δράσης.
Δημιουργείται έτσι ένα χάσμα ανάμεσα σε όσα μπορούμε να επιτρέψουμε και σε όσα μπορούμε να παρακολουθήσουμε, να ανασυνθέσουμε και να εξηγήσουμε εγκαίρως.
Στο «The AI That Escaped Is Not the Biggest Problem» είχα μεταφέρει τη συζήτηση πέρα από το εντυπωσιακό περιστατικό μιας AI που «ξέφυγε». Το μεγαλύτερο ζήτημα είναι οι υποδομές μέσα στις οποίες τέτοια συστήματα μπορούν να λειτουργούν, οι δυνατότητες που αποκτούν και η πραγματική δυνατότητα να περιοριστούν.
Η σημερινή συνέχεια αυτού του προβληματισμού είναι ότι η αδυναμία εποπτείας γίνεται και αδυναμία προστασίας. Όταν χρειάζεται πολύς χρόνος για να διαπιστώσουμε τι συνέβη, μπορεί να καθυστερεί η ενημέρωση εκείνων που επηρεάστηκαν, η αποκατάσταση και η αποτροπή της επανάληψης.
Η πολιτική ανακοίνωση δεν αρκεί
Στις 29 Σεπτεμβρίου 2026, ο Donald Trump παρουσίασε μια συμφωνία με επικεφαλής μεγάλων τεχνολογικών εταιρειών για την ασφάλεια της AI. Το πλαίσιο προβλέπει εσωτερικούς ελέγχους, ομάδα παρακολούθησης της λειτουργίας τους, εξωτερική αξιολόγηση και εποπτεία από ανεξάρτητη επιτροπή του διοικητικού συμβουλίου. Παρουσιάστηκε ως «ηθικά δεσμευτικό». www.reuters.com
Αυτός ο χαρακτηρισμός αφήνει αναπάντητο το ουσιαστικό ερώτημα: τι ακριβώς συμβαίνει όταν μια εταιρεία δεν τηρεί όσα υποσχέθηκε;
Μια ηθική δέσμευση μπορεί να εκφράζει πρόθεση. Δεν ισοδυναμεί από μόνη της με νομικά επιβλητή υποχρέωση ή με συγκεκριμένη ανάληψη νομικής ευθύνης για τις συνέπειες μιας αστοχίας. Η δημόσια υπογραφή, παρουσία του προέδρου των ΗΠΑ, προσδίδει πολιτικό και επικοινωνιακό βάρος. Δεν δημιουργεί αυτομάτως μηχανισμό επιβολής.
Αυτό δεν σημαίνει ότι παύει να ισχύει οποιαδήποτε ευθύνη προκύπτει από την υφιστάμενη νομοθεσία. Σημαίνει ότι η συγκεκριμένη δέσμευση δεν αρκεί για να απαντήσει ποιος θα λογοδοτήσει, με ποια διαδικασία και με ποιες συνέπειες.
Γι’ αυτό, στη μορφή με την οποία παρουσιάστηκε, τη βλέπω περισσότερο ως επικοινωνιακή και πολιτική δήλωση προθέσεων παρά ως ουσιαστική εγγύηση ασφάλειας.
Η ανακοίνωση έγινε, οι υπογραφές μπήκαν και η εικόνα μιας κοινής αντιμετώπισης του προβλήματος δημιουργήθηκε. Το αν δημιουργήθηκε και αποτελεσματικός έλεγχος μένει να αποδειχθεί.
Σε αναρτήσεις στα social media κυκλοφόρησαν, επίσης, εικόνες που παρουσιάζονται ως τα υπογεγραμμένα έγγραφα, με σχολιασμούς για σοβαρά ορθογραφικά λάθη. Δεν έχω επιβεβαιώσει τη γνησιότητα αυτών των εικόνων, επομένως δεν θεωρώ τα συγκεκριμένα λάθη τεκμηριωμένο γεγονός. Αν επιβεβαιωθούν, θα ενισχύσουν την εντύπωση μιας βιαστικής παρουσίασης.
Η ουσιαστική ανησυχία, όμως, παραμένει ακόμη και με ένα άψογα γραμμένο κείμενο: ποια υποχρέωση δημιουργείται, ποιος ελέγχει την εφαρμογή της και τι συμβαίνει όταν δεν τηρείται;
Γιατί η δημόσια εντύπωση ότι «το θέμα αντιμετωπίστηκε» μπορεί να προηγείται κατά πολύ της πραγματικής δυνατότητας να αντιμετωπιστεί.
Οι σκοπιμότητες δεν χρειάζεται να γίνουν εικασίες
Μια τέτοια συμφωνία διαμορφώνεται μέσα σε ένα περιβάλλον τεράστιων οικονομικών, πολιτικών και γεωστρατηγικών συμφερόντων. Θα ήταν αφελές να την εξετάζουμε σαν να βρίσκεται έξω από αυτό το περιβάλλον.
Δεν έχω, όμως, όλα τα στοιχεία για να αποδώσω συγκεκριμένα κίνητρα σε κάθε συμμετέχοντα. Ούτε θεωρώ ότι χρειάζεται να το κάνω για να αξιολογήσω το αποτέλεσμα.
Δεν χρειάζεται να αποφανθούμε αν κάποιος επιδιώκει να αποφύγει αυστηρότερους κανόνες, να επηρεάσει τον ανταγωνισμό ή να περιορίσει την έκθεσή του σε μελλοντικές ευθύνες. Μπορούμε να εξετάσουμε τι ακριβώς προβλέπει το πλαίσιο και τι αφήνει ανοιχτό.
Αντίστοιχα, η λέξη «ασυλία», που εμφανίζεται σε μέρος της δημόσιας συζήτησης, χρειάζεται προσοχή. Μπορεί να εκφράζει μια κριτική ερμηνεία της αυτορρύθμισης. Δεν πρέπει να μετατρέπεται σε δήλωση ότι έχει αποδειχθεί γενική νομική απαλλαγή των εταιρειών.
Η κριτική γίνεται ισχυρότερη όταν παραμένει συγκεκριμένη.
Ποιος ορίζει τα αποδεκτά όρια; Ποιος έχει πρόσβαση στα στοιχεία που απαιτούνται για έναν πραγματικό έλεγχο; Ποιος μπορεί να απαιτήσει αλλαγές; Ποιος έχει την εξουσία να σταματήσει μια επικίνδυνη λειτουργία, ακόμη και όταν αυτή αποτελεί σημαντικό εμπορικό πλεονέκτημα;
Και, τελικά, τι δυνατότητα έχει ένας άνθρωπος ή ένας οργανισμός που υπέστη ζημιά να μάθει τι συνέβη και να διεκδικήσει αποκατάσταση;
Αυτά είναι τα ερωτήματα που με ενδιαφέρουν. Η απάντησή τους μπορεί να αξιολογηθεί χωρίς να γνωρίζουμε τι σκεφτόταν ο καθένας τη στιγμή της υπογραφής.
Η ευθύνη χρειάζεται υποδομή
Η ανησυχία μου μεγαλώνει όταν η συζήτηση μεταφέρεται από τις πραγματικές δυνατότητες ελέγχου στις διαβεβαιώσεις ότι κάποιος θα ελέγχει.
Ένας εξωτερικός αξιολογητής χρειάζεται πρόσβαση, επαρκή στοιχεία και ελευθερία να καταγράψει δυσάρεστα ευρήματα. Μια επιτροπή χρειάζεται εξουσία να απαιτήσει διορθώσεις. Ένας εσωτερικός μηχανισμός χρειάζεται τη δυνατότητα να διακόψει μια διαδικασία όταν εντοπίσει κίνδυνο.
Αν αυτά απουσιάζουν, οι τίτλοι των μηχανισμών εποπτείας μπορεί να δημιουργούν μεγαλύτερη βεβαιότητα από όση δικαιολογεί η λειτουργία τους.
Εδώ συναντιέται η πολιτική αυτορρύθμιση με το καθημερινό πρόβλημα των agents.
Και στις δύο περιπτώσεις, η δήλωση ότι υπάρχει έλεγχος είναι πολύ ευκολότερη από την κατασκευή των συνθηκών μέσα στις οποίες ο έλεγχος μπορεί πράγματι να ασκηθεί. Ιδίως όταν συγκρούεται με την ταχύτητα, το κόστος ή το συμφέρον εκείνου που ελέγχεται.
Από την εμπειρία μου στην κατασκευή συστημάτων, ξέρω ότι τέτοιες δυνατότητες δεν προστίθενται εύκολα εκ των υστέρων. Πρέπει να επηρεάζουν τον σχεδιασμό από την αρχή: τι καταγράφεται, ποιος έχει πρόσβαση, ποιες ενέργειες επιτρέπονται και πώς ανακαλούνται τα δικαιώματα όταν χρειαστεί.
Η λογοδοσία πρέπει να μπορεί να λειτουργήσει μέσα στο σύστημα και στον οργανισμό που το χρησιμοποιεί.
Το χρέος λογοδοσίας
Στην ανάπτυξη λογισμικού γνωρίζουμε καλά το τεχνικό χρέος. Επιλέγουμε μια γρήγορη λύση και μεταφέρουμε ένα μέρος της δουλειάς στο μέλλον.
Με τους agents, θεωρώ ότι εμφανίζεται και ένα άλλο είδος χρέους: το χρέος λογοδοσίας.
Δημιουργείται όταν προσθέτουμε δυνατότητες χωρίς να έχουμε προσδιορίσει επαρκώς ποιος επιτρέπει τη χρήση τους, πώς παρακολουθούνται οι ενέργειες και ποιος αναλαμβάνει ένα περιστατικό.
Ένας agent αποκτά πρόσβαση σε ένα εταιρικό σύστημα. Αργότερα συνδέεται με περισσότερα εργαλεία. Στη συνέχεια μπορεί να εκτελεί εργασίες χωρίς προηγούμενη έγκριση. Κάθε επέκταση φαίνεται χρήσιμη και λειτουργεί στη δοκιμή.
Κάπου στην πορεία, όμως, μένουν αναπάντητα βασικά ερωτήματα.
Μπορούμε να ξεχωρίσουμε τις ενέργειές του από εκείνες ενός ανθρώπου; Γνωρίζουμε ποια δεδομένα χρησιμοποίησε; Μπορούμε να ανακαλέσουμε εγκαίρως την πρόσβασή του; Ποιος αναλαμβάνει την ενημέρωση όσων επηρεάστηκαν; Ποιος έχει την εξουσία να σταματήσει μια διαδικασία που αποδίδει οικονομικά αλλά παρουσιάζει επικίνδυνη συμπεριφορά;
Αν αυτά αναζητηθούν πρώτη φορά μετά την αστοχία, το χρέος έχει ήδη συσσωρευτεί.
Και το κόστος του μπορεί να το πληρώσει κάποιος που δεν συμμετείχε ποτέ στην απόφαση να δημιουργηθεί.
Η ανθρώπινη έγκριση πρέπει να έχει περιεχόμενο
Η συνήθης απάντηση είναι ότι θα υπάρχει πάντα ένας άνθρωπος που θα εγκρίνει.
Αυτό μπορεί να είναι ουσιαστική προστασία. Μπορεί, όμως, να εξελιχθεί και σε μια τυπική διαδικασία που μεταφέρει την ευθύνη στον τελευταίο άνθρωπο της αλυσίδας.
Αν κάποιος καλείται να εγκρίνει εκατοντάδες ενέργειες, χωρίς επαρκή χρόνο, πληροφορίες ή δυνατότητα κατανόησης των συνεπειών τους, η παρουσία του δεν εξασφαλίζει πραγματικό έλεγχο.
Στο «The Human Factor Paradox» είχα γράψει για την ανάγκη να σχεδιάζουμε συστήματα που κάνουν το ανθρώπινο λάθος δυσκολότερο, διατηρώντας την ανθρώπινη κρίση και ευθύνη. Η ίδια αρχή ισχύει εδώ: ο άνθρωπος πρέπει να μπορεί να αξιολογήσει, να αμφισβητήσει και να παρέμβει. chrysochoou.me
Αυτό απαιτεί χρόνο και εξουσία, μαζί με την πληροφορία.
Ένας εργαζόμενος που μπορεί μόνο να πατήσει «έγκριση», ενώ ο οργανισμός απαιτεί ταχύτητα και αποθαρρύνει τις καθυστερήσεις, δεν αποτελεί επαρκή απάντηση στο πρόβλημα της λογοδοσίας.
Η ευθύνη πρέπει να εξετάζεται σε όλη την αλυσίδα: στον σχεδιασμό, στην επιλογή του συστήματος, στην παραχώρηση πρόσβασης, στη λειτουργία και στην εποπτεία. Η κατανομή της εξαρτάται από τα πραγματικά δεδομένα κάθε περίπτωσης. Δεν μπορεί να συμπυκνώνεται βολικά στον άνθρωπο που βρέθηκε τελευταίος πριν από το αποτέλεσμα.
Η αβεβαιότητα απαιτεί καλύτερο σχεδιασμό
Η απόλυτη πρόβλεψη δεν είναι ρεαλιστική απαίτηση. Το λογισμικό αστοχεί. Οι υποδομές έχουν ευπάθειες. Οι άνθρωποι κάνουν λάθη.
Η αναγνώριση αυτής της πραγματικότητας πρέπει να οδηγεί σε συγκεκριμένες επιλογές.
Περιορίζουμε την πρόσβαση. Διαχωρίζουμε τη δοκιμή από την παραγωγή. Ζητάμε ισχυρότερη επιβεβαίωση για ενέργειες με μεγαλύτερες συνέπειες. Καταγράφουμε όσα χρειάζονται για τη διερεύνηση ενός περιστατικού. Προβλέπουμε τρόπο διακοπής και αποκατάστασης.
Στους agents, αυτή η λογική γίνεται ακόμη πιο σημαντική, επειδή δεν επιλέγουμε απαραίτητα εκ των προτέρων κάθε βήμα που θα ακολουθήσουν.
Ο βαθμός αυτονομίας πρέπει να συνδέεται με τη σοβαρότητα και την αναστρεψιμότητα της ενέργειας, καθώς και με την ικανότητά μας να την εποπτεύσουμε.
Μπορούμε να επιτρέψουμε μεγαλύτερη ελευθερία σε μια εργασία όπου το αποτέλεσμα ελέγχεται εύκολα και διορθώνεται με μικρό κόστος. Χρειαζόμαστε διαφορετικούς όρους όταν επηρεάζονται χρήματα, δικαιώματα, προσωπικά δεδομένα ή κρίσιμες λειτουργίες.
Το ότι δεν μπορούμε να εγγυηθούμε κάθε αποτέλεσμα αυξάνει την ανάγκη να έχουμε σχεδιάσει σωστά τα όρια.
Ποιος μπορεί τελικά να λογοδοτήσει;
Οι agents μπορούν να προσφέρουν μεγάλη αξία. Να μειώσουν επαναλαμβανόμενη εργασία, να επιταχύνουν την έρευνα, να εντοπίσουν προβλήματα και να κάνουν σύνθετες δυνατότητες προσβάσιμες σε περισσότερους ανθρώπους.
Αυτή η προοπτική αξίζει να αναπτυχθεί.
Χρειάζεται, όμως, εμπιστοσύνη που αντέχει και στην αστοχία. Χρειάζεται ένας οργανισμός να μπορεί να εξηγήσει τι συνέβη, να περιορίσει τη ζημιά, να διορθώσει το σύστημα και να αναλάβει το μέρος της ευθύνης που του αναλογεί.
Εκεί θα κριθούν και οι πολιτικές συμφωνίες και οι εταιρικές δεσμεύσεις: στην ικανότητά τους να παράγουν αυτό το αποτέλεσμα.
Η μεγαλύτερη αλλαγή της εποχής των agents μπορεί τελικά να αφορά τον τρόπο με τον οποίο οργανώνουμε τη διοίκηση και την ευθύνη. Θα πρέπει να μάθουμε να αναθέτουμε περισσότερα σε συστήματα, διατηρώντας σαφή γνώση του ποιος αποφασίζει, ποιος ελέγχει και ποιος παρεμβαίνει.
Όσο περισσότερη δύναμη δίνουμε σε ένα σύστημα, τόσο μεγαλύτερη οργανωτική ωριμότητα απαιτεί η χρήση του.
Με ανησυχεί η πιθανότητα να προχωρήσουμε πολύ γρήγορα στην παραχώρηση αυτής της δύναμης και πολύ αργά στην κατασκευή των μηχανισμών που απαιτεί. Να αποκτήσουμε συστήματα ικανά να ενεργούν σε μεγάλη κλίμακα, μέσα σε οργανισμούς που δυσκολεύονται ακόμη και να ανασυνθέσουν όσα συνέβησαν.
Και, όταν εμφανιστούν οι συνέπειες, να βρεθούμε μπροστά σε μια αλυσίδα όπου όλοι συμμετείχαν στην απόφαση, αλλά κανείς δεν θεωρεί ότι του αναλογεί το αποτέλεσμα.
Γι’ αυτό το «ο agent το έκανε» μπορεί να είναι η αρχή μιας εξήγησης. Δεν μπορεί να είναι το τέλος της.
Το επόμενο ερώτημα θα πρέπει να είναι:
Ποιος του έδωσε τη δυνατότητα να το κάνει — και ποιος είχε αναλάβει να διασφαλίσει ότι αυτή η δυνατότητα θα χρησιμοποιούνταν με αποδεκτούς όρους;