Υπερπροσαρμογή (Overfitting): Αποστηθίζοντας τον θόρυβο

 

Η Υπερπροσαρμογή (Overfitting) είναι μια από τις πιο συναρπαστικές και ανατρεπτικές έννοιες της επιστήμης των υπολογιστών και της μηχανικής μάθησης. Η κεντρική της ιδέα είναι απλή αλλά βαθιά φιλοσοφική: ένα μοντέλο που αποστηθίζει τέλεια το παρελθόν, συχνά αποτυγχάνει παταγωδώς να προβλέψει το μέλλον.

Ο λόγος; Έχει ενσωματώσει στην ανάλυσή του και τον «θόρυβο» —δηλαδή τυχαία περιστατικά, εξαιρέσεις και άχρηστες λεπτομέρειες— χάνοντας τη μεγάλη εικόνα (το «σήμα»). Στην καθημερινή ζωή, η υπερπροσαρμογή μας διδάσκει ότι η υπερβολική σκέψη και η εμμονή στη λεπτομέρεια μπορούν να μας οδηγήσουν σε τραγικά λάθος αποφάσεις. Ακολουθεί η ανάλυση του πώς συμβαίνει αυτό και πώς μπορούμε να προστατευτούμε.

Ειδωλολατρία των Δεδομένων και ο «Θόρυβος»

 Η κοινή λογική λέει ότι όσο περισσότερους παράγοντες μετράμε, τόσο καλύτερα προβλέπουμε το μέλλον. Όμως, η εξάρτηση από τις μετρήσεις οδηγεί συχνά στην «ειδωλολατρία των δεδομένων», όπου λατρεύουμε αυτό που μπορούμε να μετρήσουμε αντί για αυτό που πραγματικά έχει σημασία. Εδώ εφαρμόζεται απόλυτα ο Νόμος του Goodhart: "Όταν ένα μέτρο γίνεται στόχος, παύει να είναι καλό μέτρο".

Στη Βιολογία: Η γεύση εξελίχθηκε ως ένας «αντιπρόσωπος» (proxy) της θρεπτικής αξίας. Σήμερα, όμως, έχουμε «υπερπροσαρμόσει» τη διατροφή μας τρώγοντας επεξεργασμένη ζάχαρη — παίρνουμε την τέλεια γεύση (τον δείκτη), αλλά καταστρέφουμε την υγεία μας (τον πραγματικό στόχο).

  Επιχειρήσεις: Αν μια εταιρεία μετράει την επιτυχία με τα «κλικ» ή τον αριθμό των ραντεβού, οι εργαζόμενοι θα προσαρμοστούν απόλυτα στον δείκτη, παράγοντας εντυπωσιακούς τίτλους (clickbait) ή κάνοντας βιαστικές, άχρηστες συναντήσεις.

   Επιδοτήσεις (ΕΣΠΑ):Μια επιχείρηση θέλει να ενταχθεί σε ένα πρόγραμμα χρηματοδότησης. Οι σύμβουλοι γράφουν ένα business plan «κομμένο και ραμμένο» πάνω στα περίπλοκα κριτήρια των αξιολογητών, χρησιμοποιώντας τις σωστές λέξεις-κλειδιά. Η πρόταση παίρνει άριστα (τέλεια προσαρμογή στα δεδομένα εκπαίδευσης). Όταν όμως η εταιρεία βγαίνει στην απρόβλεπτη και "θορυβώδη" πραγματική αγορά, αποτυγχάνει, γιατί σχεδιάστηκε για να ικανοποιήσει γραφειοκράτες και όχι πραγματικούς πελάτες.

«Ουλές της Εκπαίδευσης» (Training Scars)

Η υπερπροσαρμογή μπορεί να γίνει κυριολεκτικά επικίνδυνη όταν η εκπαίδευσή μας προσκολλάται υπερβολικά σε αυστηρά τυποποιημένες διαδικασίες και «αποστήθιση», αφαιρώντας την ικανότητα προσαρμογής στο χάος της πραγματικότητας.

Στο Πεδίο της Μάχης: Στις αμερικανικές αστυνομικές ακαδημίες διδάσκεται μια διάσημη ιστορία η οποία, αν και σήμερα αναγνωρίζεται κυρίως ως αστικός μύθος, αποδίδει μια απόλυτα δόκιμη αλήθεια: Λέγεται ότι σε πραγματικές συμπλοκές, αστυνομικοί βρέθηκαν νεκροί έχοντας βάλει τους άδειους κάλυκες στις τσέπες τους. Ο μύθος λέει πως είχαν μάθει μηχανικά στο σκοπευτήριο να μαζεύουν τους κάλυκες για να μην γλιστρήσουν οι συνάδελφοί τους. Ακόμα κι αν η ιστορία έχει μεγαλοποιηθεί, ο όρος "training scars" (ουλές της εκπαίδευσης) δημιουργήθηκε ακριβώς για αυτό: περιγράφει την υπερπροσαρμογή της συμπεριφοράς στο ελεγχόμενο περιβάλλον εκπαίδευσης, η οποία στην απρόβλεπτη μάχη κοστίζει σε χρόνο αντίδρασης.

Εξετάσεις Οδήγησης: Πολλοί εκπαιδευτές μαθαίνουν στους νέους οδηγούς να παρκάρουν με τεχνητά σημάδια: «Μόλις δεις το δέντρο στο πίσω τζαμάκι, κόψε το τιμόνι». Ο μαθητής υπερπροσαρμόζεται στο αυτοκίνητο της σχολής και στο στενό της εξέτασης. Όταν, όμως, πάρει το δίπλωμα και πάει να παρκάρει το δικό του όχημα στο κέντρο της πόλης, το σύστημά του καταρρέει. Έμαθε τις λεπτομέρειες του περιβάλλοντος αντί για την ουσία (τη χωρική αντίληψη).

   Πανελλαδικές («Παπαγαλία»): Ένας μαθητής αποστηθίζει το βιβλίο της Ιστορίας κόμμα-κόμμα. Έχει μάθει τέλεια τον «θόρυβο» (τη σύνταξη, τις ακριβείς λέξεις) αλλά όχι το «σήμα» (τα ιστορικά αίτια). Σε μια συνδυαστική ερώτηση κρίσεως, αδυνατεί να γενικεύσει τη γνώση του και μπλοκάρει.

   Η Σοφία της Απλότητας απέναντι στην Πολυπλοκότητα

Απέναντι στο χάος και την αβεβαιότητα, οι πιο επιτυχημένοι «αλγόριθμοι» είναι συχνά οι πιο απλοί (Heuristics).                             Η υπερανάλυση είναι συνήθως παγίδα.

Κάρολος Δαρβίνος: Όταν αποφάσιζε αν θα παντρευτεί, έφτιαξε μια λίστα με υπέρ και κατά. Οι πρώτοι λόγοι (συντροφικότητα, παιδιά) ήταν η ουσία, ενώ στα κατά έγραψε πράγματα όπως "λιγότερα χρήματα για βιβλία". Ο Δαρβίνος πήρε γρήγορα την απόφασή του, αποφεύγοντας να χαθεί σε μια ατέρμονη λίστα πιθανών σεναρίων. Γνώριζε ενστικτωδώς ότι η υπερβολική ανάλυση των δευτερευόντων παραγόντων ("θόρυβος") οδηγεί απλώς σε αναποφασιστικότητα (Analysis Paralysis).

Harry Markowitz: Παρόλο που κέρδισε το Νόμπελ Οικονομικών δημιουργώντας ένα εξαιρετικά περίπλοκο μαθηματικό μοντέλο επενδύσεων, ο ίδιος, όταν ρωτήθηκε, παραδέχτηκε ότι επένδυσε τις προσωπικές του αποταμιεύσεις μοιράζοντάς τις απλώς 50/50 (μετοχές/ομόλογα). Ήξερε ότι η αγορά είναι τόσο θορυβώδης, που μια απλή στρατηγική είναι πιο ανθεκτική από μια εξίσωση που κινδυνεύει να υπερπροσαρμοστεί στις χθεσινές τιμές.

Το Σύνδρομο του «Τέλειου Καφέ»: Πολλές μοντέρνες καφετέριες υπερ-αναλύουν τον εξοπλισμό τους με ζυγαριές ακριβείας δεκάτου του γραμμαρίου και θερμόμετρα νερού, ψάχνοντας το τέλειο προφίλ εκχύλισης. Αυτό δουλεύει άψογα στο εργαστήριο. Όταν όμως το μαγαζί γεμίσει το πρωί της Δευτέρας και χρειάζονται 50 καφέδες σε μισή ώρα, η πολυπλοκότητα αυτή προκαλεί κατάρρευση. Ένα πιο απλό, ανθεκτικό  σύστημα αποδίδει πάντα καλύτερα σε συνθήκες πίεσης.

Το «Φρένο» της Φύσης και ο Χρυσός Κανόνας της Πρόωρης Διακοπής

Η ίδια η φύση αποφεύγει την υπερπροσαρμογή επιβάλλοντας «ποινές πολυπλοκότητας» (Regularization). Ο εγκέφαλός μας καταναλώνει τεράστια ποσά ενέργειας, κάτι που λειτουργεί βιολογικά ως φρένο στην περιττή σκέψη. Παράλληλα, η ανάγκη να επικοινωνούμε γρήγορα λειτουργεί ως φίλτρο που κρατά μόνο την ουσία, πετώντας τα περιττά.

Στη μηχανική μάθηση, οι προγραμματιστές χρησιμοποιούν την τακτική της Πρόωρης Διακοπής (Early Stopping): σταματούν την εκπαίδευση του αλγορίθμου πριν αυτός μάθει τέλεια τα δεδομένα, για να μην αρχίσει να αποστηθίζει τον θόρυβο.

Αυτός είναι και ο χρυσός κανόνας για την καθημερινότητά μας:    Όσο μεγαλύτερη είναι η αβεβαιότητα του περιβάλλοντος και όσο λιγότερα τα αξιόπιστα δεδομένα μας, τόσο λιγότερο πρέπει να σκεφτόμαστε. Το να σταματάμε την ανάλυση νωρίς δεν είναι τεμπελιά. Είναι υπολογιστική ευφυΐα που μας προστατεύει από το να χαθούμε στις λεπτομέρειες, διατηρώντας μας επικεντρωμένους στην ουσία της ζωής και των αποφάσεών μας