Ο Norbert Wiener κάθισε το 1950 μπροστά σε μια γραφομηχανή και έκανε κάτι παράξενο για την εποχή του: δεν έγραψε ένα βιβλίο για το πώς η τεχνολογία θα σώσει τον κόσμο. Έγραψε ένα βιβλίο για το πώς μπορεί να τον αδειάσει από ανθρώπους χωρίς καν να το καταλάβουμε.
Το βιβλίο λεγόταν The Human Use of Human Beings.(Η ανθρώπινη χρήση των ανθρώπινων όντων)
Δεν ήταν μυθιστόρημα επιστημονικής φαντασίας. Δεν ήταν προφητεία με ιπτάμενα αυτοκίνητα και ρομπότ-υπηρέτες. Ήταν κάτι πολύ πιο ανησυχητικό: μια ψυχρή, καθαρή περιγραφή του τι συμβαίνει όταν οι άνθρωποι αρχίζουν να χτίζουν μηχανές που παίρνουν αποφάσεις καλύτερα από τους ίδιους.
Και το πιο τρομακτικό είναι ότι σχεδόν όλα όσα φοβήθηκε συνέβησαν.
Ο Wiener δεν ήταν κάποιος περιθωριακός φιλόσοφος που φοβόταν την πρόοδο. Ήταν ένας από τους ανθρώπους που την δημιούργησαν. Παιδί-θαύμα. Απόφοιτος του Harvard University στα δεκατέσσερά του. Διδακτορικό στα μαθηματικά στα δεκαεπτά. Καθηγητής στο Massachusetts Institute of Technology πριν κλείσει τα τριάντα.
Στον Β΄ Παγκόσμιο Πόλεμο εργάστηκε πάνω σε ένα πρόβλημα που έμοιαζε σχεδόν φιλοσοφικό: πώς χτυπάς ένα αεροπλάνο που δεν βρίσκεται ακόμη εκεί όπου στοχεύεις;
Για να το λύσει, έπρεπε να δημιουργήσει μηχανές που να προβλέπουν. Να παρατηρούν. Να διορθώνουν τη συμπεριφορά τους μέσω ανατροφοδότησης. Να “μαθαίνουν” μέσα από δεδομένα και σήματα. Από αυτή την προσπάθεια γεννήθηκε η κυβερνητική — η επιστήμη των συστημάτων ελέγχου και επικοινωνίας. Η λέξη προερχόταν από το ελληνικό «κυβερνήτης»: αυτός που κρατά το τιμόνι.
Το 1948 δημοσίευσε το τεχνικό έργο Cybernetics: Or Control and Communication in the Animal and the Machine. Οι περισσότεροι δεν μπορούσαν να το διαβάσουν· τα μαθηματικά του ήταν σαν τοίχος. Αλλά ο Wiener είχε ήδη δει κάτι που οι άλλοι δεν έβλεπαν ακόμα:
αν μπορείς να καθοδηγήσεις έναν πύραυλο με πληροφορία, τότε κάποτε θα μπορείς να καθοδηγήσεις και ανθρώπους.
Γι’ αυτό έγραψε ένα δεύτερο βιβλίο. Χωρίς εξισώσεις. Χωρίς τεχνική γλώσσα. Μόνο συνέπειες.
Και εκεί άρχισε η πραγματική προειδοποίηση.
Πρώτα μίλησε για την εργασία.
Το 1950 — όταν οι υπολογιστές καταλάμβαναν ολόκληρα δωμάτια και χρειάζονταν τεχνικούς για να αλλάξουν μια λυχνία — ο Wiener είπε κάτι σχεδόν αδιανόητο: ότι οι μηχανές δεν θα αντικαθιστούσαν μόνο τους εργάτες των εργοστασίων, αλλά και τους ανθρώπους του γραφείου. Λογιστές. Μεταφραστές. Σχεδιαστές. Αναλυτές. Οποιονδήποτε πληρωνόταν για να ακολουθεί μια διαδικασία.
Ό,τι μπορούσε να περιγραφεί ως βήματα, αργά ή γρήγορα θα γινόταν κώδικας.
Δεν το έλεγε με θαυμασμό. Το έλεγε σαν άνθρωπος που βλέπει καταιγίδα στον ορίζοντα ενώ όλοι οι άλλοι κοιτούν τον ήλιο.
Προειδοποιούσε ότι όταν η ανθρώπινη εργασία πάψει να είναι οικονομικά αναγκαία, οι κοινωνίες θα βρεθούν μπροστά σε ένα ερώτημα που δεν είχαν ποτέ αντιμετωπίσει:
τι αξία έχει ο άνθρωπος όταν η αγορά δεν τον χρειάζεται;
Εβδομήντα πέντε χρόνια αργότερα, τα generative AI μοντέλα γράφουν κείμενα, μεταφράζουν, σχεδιάζουν, αναλύουν δεδομένα, συντάσσουν συμβόλαια, παράγουν εικόνες και κώδικα. Και ξαφνικά, εκατομμύρια άνθρωποι κοιτάζουν τις δουλειές τους σαν να βλέπουν για πρώτη φορά πόσο εύκολα μπορούν να μετατραπούν σε διαδικασία.
Ύστερα ο Wiener μίλησε για κάτι ακόμη βαθύτερο.
Σήμερα το λέμε “alignment problem”. Εκείνος δεν είχε τον όρο. Είχε όμως καταλάβει τον μηχανισμό.
Οι μηχανές, έγραφε, δεν κάνουν αυτό που «εννοείς». Κάνουν αυτό που ορίζεις.
Αν ο στόχος είναι λανθασμένος, η μηχανή θα τον υπηρετήσει με τέλεια αποτελεσματικότητα. Και όσο πιο ισχυρό είναι το σύστημα, τόσο πιο καταστροφικό γίνεται το λάθος.
Για να το εξηγήσει χρησιμοποίησε το The Monkey's Paw. Ένας πατέρας εύχεται να επιστρέψει ο νεκρός γιος του. Η ευχή πραγματοποιείται. Κάτι επιστρέφει από τον τάφο. Κάτι που είναι τεχνικά αυτό που ζήτησε.
Η επιθυμία εκπληρώθηκε. Το αποτέλεσμα είναι εφιάλτης.
Σήμερα οι ερευνητές της AI μιλούν για reward hacking, specification gaming και ανεπιθύμητη βελτιστοποίηση. Οι λέξεις άλλαξαν. Το πρόβλημα όχι.
Και μετά ήρθε ίσως η πιο ανατριχιαστική του ιδέα:
ότι οι άνθρωποι θα παραχωρούσαν οικειοθελώς την κρίση τους στις μηχανές.
Όχι επειδή θα εξαναγκάζονταν.
Αλλά επειδή θα ήταν πιο εύκολο.
Οι μηχανές θα πρότειναν τι να διαβάσεις, πού να πας, ποιον να αγαπήσεις, τι να πιστέψεις, τι να φοβηθείς. Και οι άνθρωποι, κουρασμένοι από την αβεβαιότητα της επιλογής, θα αποδέχονταν όλο και περισσότερο τις αποφάσεις των συστημάτων ως φυσικές.
Ο Wiener έγραψε κάτι σχεδόν προφητικό:
ότι μια κοινωνία που αναθέτει διαρκώς τις αποφάσεις της στις μηχανές, στο τέλος χάνει την ίδια την ικανότητα να αποφασίζει.
Η ατροφία δεν έρχεται ξαφνικά. Έρχεται σαν άνεση.
Λίγο GPS αντί για μνήμη.
Λίγο algorithmic feed αντί για αναζήτηση.
Λίγο recommendation αντί για επιθυμία.
Λίγο optimization αντί για κρίση.
Μέχρι που οι άνθρωποι δεν ξέρουν πλέον αν επέλεξαν πραγματικά κάτι ή αν απλώς ακολούθησαν την πιο ομαλή διαδρομή που σχεδίασε ένα σύστημα γι’ αυτούς.
Και τέλος, ο Wiener είδε κάτι που το 1950 έμοιαζε σχεδόν παράνοια.
Προειδοποίησε ότι τα κράτη και οι μεγάλες οργανώσεις θα χρησιμοποιούσαν την υπολογιστική τεχνολογία όχι μόνο για να οργανώνουν πληροφορίες αλλά για να οργανώνουν κοινωνίες.
Ότι η παρακολούθηση δεν θα ερχόταν απαραίτητα με μπότες και βία. Θα ερχόταν με ευκολία. Με προσωποποιημένες υπηρεσίες. Με “καλύτερη εμπειρία χρήστη”. Με συστήματα που θα μάθαιναν να προβλέπουν και να επηρεάζουν τη συμπεριφορά σε τεράστια κλίμακα.
Οι άνθρωποι δεν θα ένιωθαν φυλακισμένοι.
Θα ένιωθαν εξυπηρετημένοι.
Και αυτό ήταν το πραγματικά επικίνδυνο.
Διαβάζοντας τον Wiener σήμερα, δεν νιώθεις ότι διαβάζεις έναν άνθρωπο του 1950. Νιώθεις ότι διαβάζεις κάποιον που είδε το διαδίκτυο πριν υπάρξει. Κάποιον που κατάλαβε τα social media πριν γεννηθούν. Κάποιον που διέκρινε τους αλγορίθμους προτάσεων μέσα από τα πρώτα κυκλώματα των αναλογικών υπολογιστών.
Δεν φοβόταν τις μηχανές επειδή ήταν “κακές”.
Φοβόταν ότι οι άνθρωποι θα σταματούσαν να ρωτούν ποιον υπηρετούν αυτές οι μηχανές.
Και ίσως αυτό είναι το πιο ανησυχητικό σημείο όλων:
δεν έπεσε σχεδόν σε τίποτα έξω.
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου