Το Παράδοξο του Ανθρώπινου Παράγοντα
Η σκέψη αυτή ξεκίνησε από κάτι πολύ μικρό και απολύτως πρακτικό.
Αυτή την περίοδο δουλεύουμε πάνω σε μια συμπληρωματική εφαρμογή για τη διαχείριση αποβλήτων, η οποία αφορά τη συλλογή δεδομένων στο πεδίο. Σε τέτοιες διαδικασίες ένα από τα βασικά ζητήματα είναι πάντα το ίδιο: πώς περιορίζεις όσο περισσότερο γίνεται το ανθρώπινο λάθος χωρίς να αφαιρείς εντελώς τον άνθρωπο από τη διαδικασία.
Δεν είναι κάτι ιδιαίτερα πρωτότυπο ως τεχνική σκέψη. Όταν μια πληροφορία μπορεί να καταγραφεί αυτόματα, συνήθως είναι καλύτερο να μη χρειάζεται να την πληκτρολογήσει κάποιος. Αν η ώρα μπορεί να καταγραφεί από το σύστημα, δεν υπάρχει λόγος να τη δηλώσει ο χρήστης. Αν η θέση μπορεί να προκύψει από τη συσκευή, δεν χρειάζεται να την επιλέξει κάποιος χειροκίνητα. Αν μια φωτογραφία, ένα identifier, ένα scan ή μια άλλη τεχνική ένδειξη μπορεί να επιβεβαιώσει τι συνέβη, τότε αυτά είναι ασφαλέστερα από τη μνήμη, την εκτίμηση ή την προσοχή ενός ανθρώπου που εκείνη τη στιγμή μπορεί να βιάζεται, να είναι κουρασμένος ή απλώς να κάνει ένα λάθος.
Ο στόχος λοιπόν δεν είναι να αφαιρέσουμε τον άνθρωπο. Είναι να μειώσουμε όσο γίνεται τα σημεία στα οποία το αποτέλεσμα εξαρτάται αποκλειστικά από αυτόν.
Και κάπου εκεί άρχισα να σκέφτομαι ότι αυτό το μικρό τεχνικό πρόβλημα είναι ίσως μια πολύ καλή μικρογραφία ενός πολύ μεγαλύτερου ζητήματος.
Γιατί ο ανθρώπινος παράγοντας είναι σχεδόν πάντα απαραίτητος. Είναι αυτός που καταλαβαίνει το πλαίσιο, που αντιλαμβάνεται την εξαίρεση, που μπορεί να δει κάτι που δεν χωράει σε έναν κανόνα και να πάρει μια απόφαση όταν τα δεδομένα από μόνα τους δεν αρκούν. Την ίδια στιγμή, όμως, είναι και ο πιο ασταθής παράγοντας της εξίσωσης.
Ένας άνθρωπος μπορεί να έχει όλα τα στοιχεία μπροστά του και παρ’ όλα αυτά να κάνει λάθος. Μπορεί να επηρεαστεί από το συναίσθημα, από την πίεση, από το προσωπικό του συμφέρον, από μια προκατάληψη, από μια προηγούμενη άποψη στην οποία έχει επενδύσει, από μια σχέση, από έναν φόβο ή απλώς από μια κακή εκτίμηση. Και πολλές φορές το πιο δύσκολο δεν είναι καν να πάρουμε μια λανθασμένη απόφαση. Είναι να δεχτούμε μετά ότι ήταν λανθασμένη.
Στην καθημερινότητα όλα αυτά μπορεί να είναι ασήμαντα. Μια κακή επιλογή, μια λάθος εκτίμηση, μια απόφαση που την επόμενη ημέρα δεν θα θυμόμαστε καν. Όμως ο ίδιος ακριβώς μηχανισμός λειτουργεί και σε πολύ μεγαλύτερη κλίμακα. Στις επιχειρήσεις, στις διοικήσεις, στην πολιτική, στη δικαιοσύνη, στις επενδύσεις, στις προσλήψεις, στην αξιολόγηση ανθρώπων και καταστάσεων.
Και εκεί η συνέπεια δεν είναι πια μικρή.
Το ενδιαφέρον είναι ότι όσο εξελίσσεται η τεχνολογία, τόσο περισσότερα από αυτά που μέχρι χθες βασίζονταν στην ανθρώπινη εκτίμηση μπορούν πλέον να υποστηριχθούν από δεδομένα. Μπορούμε να καταγράψουμε, να διασταυρώσουμε, να συγκρίνουμε, να αναγνωρίσουμε μοτίβα, να εντοπίσουμε ασυνέπειες και να προβλέψουμε αποτελέσματα με τρόπους που πριν λίγα χρόνια ήταν αδύνατοι.
Αυτό είναι προφανώς θετικό. Τουλάχιστον μέχρι ενός σημείου.
Γιατί κάπου εκεί εμφανίζεται ένα παράδοξο που νομίζω ότι θα μας απασχολήσει πολύ περισσότερο τα επόμενα χρόνια.
Ζούμε σε έναν κόσμο που θέλει, τουλάχιστον σε επίπεδο διακηρύξεων, να γίνει πιο ανθρώπινος. Μιλάμε συνεχώς για δικαιοσύνη, ισότητα, αξιοκρατία, διαφάνεια, περιορισμό των διακρίσεων και προστασία των πιο αδύναμων. Και σωστά το κάνουμε.
Όμως όσο αυξάνουμε την απαίτηση οι αποφάσεις να είναι απόλυτα τεκμηριωμένες, συνεπείς και ανεπηρέαστες από υποκειμενικούς παράγοντες, τόσο περισσότερο στρεφόμαστε εναντίον του ίδιου του στοιχείου που εισάγει αυτή την αβεβαιότητα.
Και αυτό το στοιχείο είναι ο άνθρωπος.
Δεν χρειάζεται καν να πάμε σε ακραία παραδείγματα. Το βλέπουμε ήδη γύρω μας. Όσο περισσότερα δεδομένα διαθέτουμε, τόσο δυσκολότερο γίνεται να δεχτούμε μια απόφαση που βασίστηκε στο «έτσι το εκτίμησα». Όσο περισσότερο μπορούμε να μετρήσουμε την απόδοση, τόσο λιγότερο χώρο αφήνουμε στην προσωπική κρίση. Όσο περισσότερο μπορούμε να προβλέψουμε ένα αποτέλεσμα, τόσο περισσότερο μας ενοχλεί η απόφαση που αποκλίνει από αυτό.
Και αυτό αποκτά εντελώς διαφορετικό βάρος όταν η ανθρώπινη απόφαση δεν αφορά έναν άνθρωπο ή μία επιχείρηση αλλά εκατομμύρια ανθρώπους. Όταν αφορά πολιτικές, νομοθεσία, γεωπολιτικές επιλογές, οικονομικά μοντέλα, πολέμους, μεταναστευτικές ροές, δημόσια υγεία, κοινωνικές παροχές ή τον τρόπο με τον οποίο οργανώνεται η ίδια η παγκοσμιοποίηση.
Εκεί μια λανθασμένη εκτίμηση δεν είναι απλώς ένα λάθος που διορθώνεται στο επόμενο τρίμηνο. Μπορεί να αλλάξει ζωές, να δημιουργήσει ή να διευρύνει ανισότητες, να μεταφέρει πλούτο από τη μία πλευρά στην άλλη, να δημιουργήσει ολόκληρες γενιές ανθρώπων που αισθάνονται ότι δεν συμμετέχουν ισότιμα σε αυτό που αποκαλούμε πρόοδο.
Και σε έναν κόσμο όπου η αίσθηση της αδικίας γίνεται ολοένα πιο έντονη, όπου οι ανισότητες σε πολλές περιπτώσεις μεγαλώνουν αντί να μειώνονται και όπου όλο και περισσότερες αποφάσεις φαίνεται να αξιολογούνται τελικά μέσα από την οικονομική τους απόδοση, το περιθώριο ανοχής απέναντι στο ανθρώπινο λάθος γίνεται μικρότερο.
Από εκεί και κάτω, βέβαια, ο ίδιος μηχανισμός περνά και στις επιχειρήσεις και στην καθημερινότητα. Μια λάθος επένδυση έχει κόστος. Μια κακή πρόσληψη έχει κόστος. Μια λανθασμένη εκτίμηση κινδύνου έχει κόστος. Μια αποτυχία που θα μπορούσε να είχε προβλεφθεί θεωρείται όλο και λιγότερο «ανθρώπινο λάθος» και όλο και περισσότερο κακή διαχείριση.
Σε έναν τέτοιο κόσμο, η πίεση για καλύτερες αποφάσεις είναι απολύτως λογική.
Το πρόβλημα είναι πού μπορεί να μας οδηγήσει.
Γιατί κάποια στιγμή το ερώτημα σχεδόν αναπόφευκτα θα τεθεί: αν ένα σύστημα μπορεί να αξιολογεί περισσότερα δεδομένα, να είναι πιο συνεπές, να μην κουράζεται, να μην έχει προσωπικές σχέσεις, να μην επηρεάζεται από φόβο, θυμό, συμπάθεια ή συμφέρον, τότε γιατί να αφήσουμε τον άνθρωπο να έχει τον τελευταίο λόγο;
Και εδώ βρίσκεται, για μένα, η μεγάλη εικόνα.
Φοβάμαι ότι στην προσπάθειά μας να δημιουργήσουμε έναν κόσμο πιο δίκαιο και πιο ανθρώπινο, μπορεί να φτιάξουμε τις συνθήκες που θα οδηγήσουν στο ακριβώς αντίθετο.
Όχι επειδή κάποια τεχνητή νοημοσύνη θα αποφασίσει ότι δεν μας χρειάζεται. Αυτό είναι το εύκολο σενάριο της επιστημονικής φαντασίας.
Το πολύ πιο ενδιαφέρον και ίσως πιο πιθανό σενάριο είναι ότι εμείς οι ίδιοι θα αρχίσουμε να θεωρούμε τον άνθρωπο ανεπαρκή για να συμμετέχει στις σημαντικές αποφάσεις.
Και το επιχείρημα θα είναι απολύτως λογικό.
Θα λέμε ότι θέλουμε να περιορίσουμε την αδικία. Να μειώσουμε τις διακρίσεις. Να αποφύγουμε τα λάθη. Να προστατεύσουμε τους αδύναμους. Να πάρουμε αποφάσεις βασισμένες στα δεδομένα και όχι στις προσωπικές εκτιμήσεις.
Μόνο που, ακολουθώντας αυτή τη λογική μέχρι το τέλος της, μπορεί να καταλήξουμε σε έναν κόσμο όπου η ανθρώπινη κρίση θα αντιμετωπίζεται ως πρόβλημα που πρέπει να εξαλειφθεί.
Και εκεί αρχίζει η πραγματική αντίφαση.
Γιατί ο άνθρωπος δεν είναι μόνο η πηγή του λάθους. Είναι και η πηγή της ενσυναίσθησης, της συγχώρεσης, της δεύτερης ευκαιρίας, της εξαίρεσης από τον κανόνα. Είναι αυτός που μπορεί να κοιτάξει δύο περιπτώσεις οι οποίες στα δεδομένα φαίνονται ίδιες και να καταλάβει ότι στην πραγματικότητα δεν είναι.
Η τεχνολογία μπορεί να μας πει ότι κάποιος απέτυχε.
Ο άνθρωπος μπορεί να καταλάβει γιατί.
Η τεχνολογία μπορεί να μας πει ποια είναι η πιο αποδοτική απόφαση.
Ο άνθρωπος μπορεί να αποφασίσει ότι δεν είναι απαραίτητα και η σωστή.
Η τεχνολογία μπορεί να υπολογίσει το κόστος μιας επιλογής.
Ο άνθρωπος είναι αυτός που μπορεί να καταλάβει ότι δεν έχουν όλα όσα αξίζουν τιμή.
Γι’ αυτό πιστεύω ότι η σωστή κατεύθυνση δεν είναι ούτε να εμπιστευτούμε τυφλά τον άνθρωπο ούτε να μεταφέρουμε την ευθύνη στη μηχανή. Είναι να χρησιμοποιήσουμε την τεχνολογία για να κάνουμε την ανθρώπινη απόφαση καλύτερη.
Να σχεδιάσουμε συστήματα στα οποία η μηχανή θα δυσκολεύει τον άνθρωπο να κάνει το λάθος, χωρίς να του αφαιρεί το δικαίωμα να είναι άνθρωπος.
Να του δίνει περισσότερα στοιχεία. Να του δείχνει τις αντιφάσεις. Να του επισημαίνει ότι η απόφασή του αποκλίνει από αυτά που δείχνουν τα δεδομένα. Να τον αναγκάζει, αν χρειάζεται, να εξηγήσει γιατί επιλέγει διαφορετικά.
Αλλά η τελική ευθύνη να παραμένει ανθρώπινη.
Και ίσως αυτό είναι πολύ πιο σημαντικό από όσο φαίνεται σήμερα.
Γιατί η μεγαλύτερη πρόκληση της εποχής που έρχεται μπορεί τελικά να μην είναι πώς θα κάνουμε τις μηχανές περισσότερο ανθρώπινες.
Μπορεί να είναι πώς θα αποφύγουμε να φτιάξουμε, στο όνομα ενός πιο ανθρώπινου κόσμου, έναν κόσμο στον οποίο ο ίδιος ο άνθρωπος θα θεωρείται ο αδύναμος κρίκος που πρέπει να αφαιρεθεί.