Εξουσία, εμπιστοσύνη και η ψευδαίσθηση των «έξυπνων» κρατών
Για αιώνες, η εξουσία στην κοινωνία ήταν ορατή. Είχε πρόσωπο, κτίριο, διαδικασία. Οι αποφάσεις λαμβάνονταν από ανθρώπους, καταγράφονταν σε χαρτί και—τουλάχιστον κατ’ αρχήν—μπορούσαν να αμφισβητηθούν. Μπορούσες να διαφωνήσεις με έναν φόρο, ένα πρόστιμο ή μια απόφαση, αλλά μπορούσες να ρωτήσεις γιατί. Κάποιος, κάπου, όφειλε να σου απαντήσει.
Σήμερα, τα κράτη εισέρχονται σε μια νέα εποχή εξουσίας: την αλγοριθμική εξουσία. Η τεχνητή νοημοσύνη εισάγεται σε συστήματα που αξιολογούν ρίσκο, κατανέμουν πόρους, εντοπίζουν απάτες, ιεραρχούν υποθέσεις και, ολοένα περισσότερο, επηρεάζουν αποφάσεις που διαμορφώνουν τη ζωή των πολιτών. Η υπόσχεση είναι δελεαστική: ταχύτερες υπηρεσίες, λιγότερα λάθη, πιο «έξυπνα» κράτη.
Αλλά κάτι θεμελιώδες αλλάζει.
Σε πολλά από αυτά τα συστήματα, οι αποφάσεις προκύπτουν από μοντέλα που κανένας άνθρωπος δεν κατανοεί πλήρως. Το αποτέλεσμα είναι ορατό. Ο λόγος όχι. Αυτό που αντικαθιστά το παλιό γραφειοκρατικό «επειδή το λέει ο νόμος» είναι κάτι πολύ πιο αδιαφανές: «επειδή το λέει το μοντέλο».
Αυτή είναι η νέα ψευδαίσθηση των έξυπνων κρατών. Και είναι επικίνδυνη.
Τα κράτη δεν αποτυγχάνουν επειδή τους λείπει η ευφυΐα. Αποτυγχάνουν όταν χάνουν τη νομιμοποίησή τους. Και η νομιμοποίηση βασίζεται σε μία απλή ιδιότητα: τη δυνατότητα να εξηγούν, να ελέγχουν και να δικαιολογούν την εξουσία.
Η ΤΝ χωρίς ιχνηλασιμότητα διαβρώνει αυτό το θεμέλιο.
Η Άνοδος της Αόρατης Εξουσίας
Στον ιδιωτικό τομέα, η αδιαφάνεια γίνεται ανεκτή. Αν ένα σύστημα προτάσεων παρερμηνεύσει το γούστο σου στις ταινίες, αδιαφορείς. Αν ένας αλγόριθμος διαφημίσεων σε καταλάβει λάθος, απλώς συνεχίζεις.
Στον δημόσιο τομέα, όμως, τα διακυβεύματα είναι διαφορετικά.
Όταν ένας αλγόριθμος επισημαίνει έναν πολίτη για έλεγχο, απορρίπτει ένα επίδομα, καθυστερεί μια άδεια ή αποδίδει έναν δείκτη ρίσκου, ασκεί εξουσία. Ακόμη κι αν κανένας άνθρωπος «δεν αποφασίζει» με την παραδοσιακή έννοια, το αποτέλεσμα βιώνεται ως απόφαση. Και για τον πολίτη που επηρεάζεται, είναι απόφαση.
Κι όμως, όλο και συχνότερα, κανείς δεν μπορεί να απαντήσει στο απλούστερο ερώτημα:
Γιατί συνέβη αυτό;
Όχι με ανθρώπινους όρους. Όχι με νομικούς όρους. Όχι με τρόπο που να μπορεί να αμφισβητηθεί.
Το σύστημα γίνεται μια αόρατη εξουσία. Δεν επιχειρηματολογεί. Δεν δικαιολογεί. Απλώς παράγει αποτελέσματα.
Σε πολλά σύγχρονα δημόσια συστήματα, η τεχνητή νοημοσύνη εισάγεται για να διαχειριστεί τεράστιους όγκους δηλώσεων, συναλλαγών και αρχείων συμμόρφωσης. Ο στόχος είναι πάντοτε ο ίδιος: να βελτιωθεί ο έλεγχος, να επιταχυνθούν οι διαδικασίες, να περιοριστεί το ανθρώπινο λάθος.
Στην πράξη, όμως, επαναλαμβάνεται ένα γνώριμο μοτίβο. Τα δεδομένα εισέρχονται στο σύστημα. Τα μοντέλα τα επεξεργάζονται. Στην έξοδο εμφανίζονται ειδοποιήσεις, δείκτες ή κατηγοριοποιήσεις.
Και κάπου στη διαδρομή, η λογική χάνεται. Κανείς—ούτε ο πολίτης, ούτε ο υπάλληλος, ούτε καν όσοι σχεδίασαν το σύστημα—δεν μπορεί πλέον να ανασυνθέσει πλήρως πώς ένα συγκεκριμένο αποτέλεσμα προέκυψε από μια συγκεκριμένη είσοδο.
Το σύστημα “γνωρίζει”. Οι άνθρωποι απλώς αποδέχονται.
Αυτό δεν είναι ευφυΐα. Είναι εξουσία χωρίς αναγνωσιμότητα.
Γιατί η ΤΝ-Μαύρο Κουτί δεν Μπορεί να Κυβερνήσει
Στις δημοκρατίες, ο λόγος έχει μεγαλύτερη σημασία από το αποτέλεσμα.
Ένας πολίτης μπορεί να αποδεχτεί μια κύρωση, μια καθυστέρηση ή μια απόρριψη αν κατανοεί τη βάση πάνω στην οποία προέκυψε. Ακόμη και άδικες αποφάσεις μπορούν να αμφισβητηθούν. Αυτή η δυνατότητα είναι που διατηρεί την εξουσία νομιμοποιημένη.
Η ΤΝ-μαύρο κουτί σπάει αυτό το κοινωνικό συμβόλαιο.
Τα περισσότερα σύγχρονα συστήματα ΤΝ—ιδίως εκείνα που βασίζονται σε βαθιά μάθηση—δεν «σκέφτονται» με τρόπους που αντιστοιχούν σε ανθρώπινες έννοιες. Μαθαίνουν μοτίβα σε χώρους υψηλής διάστασης. Οι «αποφάσεις» τους είναι αναδυόμενες ιδιότητες δισεκατομμυρίων παραμέτρων.
Αυτό δεν είναι κατ’ ανάγκη κακό. Συχνά είναι αυτό που τα καθιστά ισχυρά.
Όταν όμως τέτοια συστήματα ενσωματώνονται στη διακυβέρνηση, εμφανίζονται τρεις ρωγμές:
- Η λογοδοσία εξατμίζεται.
Ποιος ευθύνεται για ένα αποτέλεσμα; Ο προγραμματιστής; Ο επιστήμονας δεδομένων; Ο οργανισμός; Το μοντέλο; Το «σύστημα» γίνεται ασπίδα. - Η προσφυγή χάνει το νόημά της.
Δεν μπορείς να επιχειρηματολογήσεις απέναντι σε μια κατανομή πιθανοτήτων. Δεν μπορείς να «ανακρίνεις» ένα διάνυσμα. - Η εμπιστοσύνη καταρρέει σιωπηλά.
Οι πολίτες μπορεί να συμμορφώνονται, αλλά παύουν να πιστεύουν. Το κράτος γίνεται ταυτόχρονα αποτελεσματικό και ξένο.
Στην πράξη, αυτό εξελίσσεται ύπουλα. Το σύστημα εισάγεται ως «υποστήριξη αποφάσεων». Με τον καιρό, οι άνθρωποι μαθαίνουν να το εμπιστεύονται περισσότερο από τον εαυτό τους. Τελικά, το αποτέλεσμα γίνεται η απόφαση.
Και όμως, κανείς δεν μπορεί να πει γιατί.
Ένα κράτος που δεν μπορεί να εξηγήσει τον εαυτό του δεν μπορεί να κυβερνήσει μακροπρόθεσμα. Μπορεί μόνο να διαχειρίζεται.
Η Ιχνηλασιμότητα ως Δημοκρατική Υποδομή
Συχνά μιλάμε για την ΤΝ με όρους ευφυΐας. Θα έπρεπε να μιλάμε με όρους υποδομής.
Οι δρόμοι καθιστούν δυνατή τη μετακίνηση.
Το ηλεκτρικό ρεύμα καθιστά δυνατή τη βιομηχανία.
Η ιχνηλασιμότητα καθιστά δυνατή τη νομιμοποίηση.
Σε κάθε σύστημα που ασκεί δημόσια εξουσία, κάθε αποτέλεσμα πρέπει να είναι:
- ανακατασκευάσιμο,
- ελέγξιμο,
- εξηγήσιμο με ανθρώπινους όρους.
Όχι απλώς «το μοντέλο είχε υψηλή βεβαιότητα», αλλά:
- Ποια δεδομένα χρησιμοποιήθηκαν;
- Ποιοι κανόνες εφαρμόστηκαν;
- Ποιοι μετασχηματισμοί έγιναν;
- Πού υπήρχε αβεβαιότητα;
- Σε ποιο σημείο θα μπορούσε να παρέμβει άνθρωπος;
Η ιχνηλασιμότητα δεν είναι χαρακτηριστικό. Είναι αρχιτεκτονική αρχή.
Σημαίνει σχεδίαση συστημάτων όπου κάθε αυτοματοποιημένο βήμα αφήνει ίχνος:
- αμετάβλητα logs,
- εκδόσεις μοντέλων,
- στιγμιότυπα εισόδων,
- αξιολόγηση κανόνων,
- διαδρομές απόφασης.
Σημαίνει ότι ένα αποτέλεσμα δεν είναι απλώς ένας αριθμός ή μια ετικέτα, αλλά μια ιστορία—μια αλυσίδα συλλογισμού που μπορεί να επιθεωρηθεί.
Σε μια πλατφόρμα συμμόρφωσης που βοήθησα να σχεδιαστεί, η βασική απαίτηση δεν ήταν η ταχύτητα ή η κλίμακα. Ήταν αυτή:
Κάθε αποτέλεσμα πρέπει να μπορεί να αναπαραχθεί χρόνια αργότερα, ακόμη κι αν το ίδιο το σύστημα έχει αλλάξει.
Γιατί; Επειδή το σύστημα διαμόρφωνε νομική πραγματικότητα. Παρήγαγε εγγραφές που μπορούσαν να αμφισβητηθούν σε δικαστήριο, να ελεγχθούν από ρυθμιστικές αρχές και να προσβληθούν από πολίτες.
Χωρίς ιχνηλασιμότητα, ένα τέτοιο σύστημα δεν θα ήταν εργαλείο διακυβέρνησης. Θα ήταν μαντείο.
Και τα μαντεία δεν ανήκουν στις δημοκρατίες.
Από το «Έξυπνο Κράτος» στο «Αναγνώσιμο Κράτος»
Το κυρίαρχο αφήγημα είναι το «έξυπνο κράτος».
Έξυπνες πόλεις.
Έξυπνη φορολογία.
Έξυπνη πρόνοια.
Έξυπνη αστυνόμευση.
Αλλά το «έξυπνο» είναι λάθος στόχος.
Αυτό που χρειάζονται πραγματικά οι κοινωνίες είναι αναγνώσιμα κράτη.
Ένα αναγνώσιμο σύστημα είναι αυτό που:
- μπορεί να διαβαστεί,
- μπορεί να αμφισβητηθεί,
- μπορεί να κατανοηθεί από μη ειδικούς,
- αποκαλύπτει τη λογική του αντί να την κρύβει.
Η αναγνωσιμότητα είναι αυτό που επιτρέπει στους πολίτες να παραμένουν πολιτικοί δρώντες αντί να μετατρέπονται σε σημεία δεδομένων.
Η ΤΝ μπορεί να το υποστηρίξει αυτό. Αλλά μόνο αν επαναπροσδιοριστεί ο ρόλος της.
Αντί να ρωτάμε:
Πώς μπορεί η ΤΝ να αποφασίζει καλύτερα από τους ανθρώπους;
Πρέπει να ρωτάμε:
Πώς μπορεί η ΤΝ να βοηθήσει τους ανθρώπους να βλέπουν πιο καθαρά τι συμβαίνει;
Η ΤΝ οφείλει να φωτίζει την πολυπλοκότητα, όχι να αντικαθιστά την κρίση.
Να αναδεικνύει μοτίβα, όχι να επιβάλλει αποτελέσματα.
Να επεκτείνει τον ανθρώπινο συλλογισμό, όχι να τον αποκρύπτει.
Σε αυτό το μοντέλο:
- Η ΤΝ προτείνει.
- Οι άνθρωποι αποφασίζουν.
- Τα συστήματα καταγράφουν.
- Όλοι μπορούν να ελέγχουν.
Είναι πιο αργό. Είναι πιο ακατάστατο. Είναι λιγότερο «εντυπωσιακό» στα demos.
Είναι όμως βιώσιμο.
Η Ευφυΐα χωρίς Νομιμοποίηση Αποτυγχάνει
Η ιστορία είναι γεμάτη από αποδοτικά συστήματα που κατέρρευσαν επειδή έχασαν την εμπιστοσύνη.
Αυτοκρατορίες με τέλεια εφοδιαστική.
Γραφειοκρατίες με άψογες διαδικασίες.
Θεσμοί που «λειτουργούσαν» ενώ οι άνθρωποι έπαψαν να τους πιστεύουν.
Η ΤΝ δεν θα σώσει τα κράτη από αυτή τη μοίρα. Θα την επιταχύνει αν χρησιμοποιηθεί λανθασμένα.
Ένα κράτος που δεν μπορεί να εξηγήσει τις πράξεις του θα βρεθεί τελικά απέναντι σε έναν πληθυσμό που δεν τις αποδέχεται πια. Η σύγκρουση μπορεί να μην είναι θορυβώδης στην αρχή. Ξεκινά ως αποστασιοποίηση, κυνισμός και σιωπηλή αντίσταση.
«Τίποτα δεν βγάζει νόημα πια.»
«Αποφασίζουν κάπου αλλού.»
«Έτσι είναι το σύστημα.»
Αυτά δεν είναι τεχνικές αποτυχίες. Είναι πολιτικά ρήγματα.
Η ΤΝ χωρίς ιχνηλασιμότητα δημιουργεί εξουσία χωρίς φωνή.
Αποτελεσματικότητα χωρίς νομιμοποίηση.
Ευφυΐα χωρίς δημοκρατία.
Τα κράτη δεν χρειάζονται μηχανές που σκέφτονται για λογαριασμό τους.
Χρειάζονται συστήματα που επιτρέπουν σε όλους να βλέπουν πώς ρέει η εξουσία.
Γιατί στο τέλος, το ερώτημα δεν είναι αν η ΤΝ είναι έξυπνη.
Είναι αν η κοινωνία που τη χρησιμοποιεί παραμένει κατανοήσιμη στον ίδιο της τον εαυτό.
