בשנות ה-70 ערער מישל פוקו את ההנחה שידע משקף את המציאות. ידע, לטענתו, תמיג מיוצר ותמיד שלוב בכוח. המונח שטבע, "ידע/כוח", הדגיש שמה שאנו מקבלים כאמת הוא תוצאה של מוסדות, שיחים ופרקטיקות חברתיות. היום, בעידן הבינה המלאכותית, הטענה הזו נשמעת פחות כמו תיאוריה ויותר כמו מפת דרכים להבנת המציאות.
אלגוריתמים כבר אינם רק כלים טכניים. הם קובעים מי יתקבל לעבודה, מי יזכה להלוואה, היכן למקד אכיפה משטרתית, ואילו תכנים ייחשפו בפיד שלנו. אך בניגוד לדימוי הניטרלי שמיוחס להם לעיתים, האלגוריתמים לא "רק מחשבים" – הם משחזרים, מקודדים ולעיתים אף מעצימים את ההיררכיות והאפליות שהחברה עצמה יצרה. וככל שאנחנו הופכים לתלויים בהם, האלגוריתמים הופכים לאמת עצמה.
פוקו על ידע, כוח ושיח
לפי פוקו, כוח איננו רק שליטה ישירה מלמעלה. הוא פועל דרך שפה, מוסדות, נורמות ופרקטיקות יומיומיות – ובאופן מרכזי, דרך שיח. השיח, עבור פוקו, לא רק מתאר את העולם אלא יוצר אותו: השיח הרפואי, למשל, לא רק "מדווח" על מצב גופני – הוא מגדיר מהו נורמלי, מהו חריג ומהי סטייה.
כך גם האלגוריתמים: הם אינם ניטרליים או טכניים בלבד, אלא משתתפים פעילים ביצירת "משטרי אמת" חדשים – מבנים שמכתיבים מה נחשב לידע לגיטימי, ומה נדחק לשוליים.
האלגוריתמים הפועלים כיום הם מעין תשתיות שיח חדשות. הם מחליטים מה ייחשף לעינינו, מי יזוהה כאיום, מי לא יקבל אשראי, ואילו מועמדים לעבודה ייפסלו מראש. התהליך נראה אובייקטיבי – אבל הוא נשען על נתונים היסטוריים מלאי הטיות, ועל הנחות חברתיות לא מודעות.
דוגמאות לכך רבות: זיהוי פנים שמתפקד באופן לקוי יותר עבור שחורים, מערכות "חיזוי פלילי" שממוקדות מראש באזורים מוחלשים, ותוכנות מיון קורות חיים שמשמרות אפליה מגדרית. כל אלו אינם באגים – הם ביטוי ישיר למבנה ידע/כוח שמוטמע במערכות. האלגוריתם "מייעל" את האפליה: הוא מציג אותה כטבעית, לוגית, בלתי נמנעת – תוך כדי שהוא ממסד ומנציח אותה.
מעקב, פיקוח והפנופטיקון הדיגיטלי
מושג מרכזי נוסף אצל פוקו הוא הפיקוח. ב"לפקח ולהעניש" הוא תיאר כיצד המודרניות עברה מהפעלת כוח פיזי לפיקוח תמידי, שבמסגרתו הפרט מפנים את המשמעת. הדימוי המרכזי היה הפאנופטיקון – מבנה שבו כל אדם חש נצפה, גם מבלי לדעת מתי.
היום, הפאנופטיקון קם לתחייה בדמות הפלטפורמות הדיגיטליות: כל קליק, תנועה, העדפה רגשית או רכישה מתועדים ומנותחים. לא רק למעקב – אלא לעיצוב ההתנהגות: באילו תכנים ניתקל, אילו פרסומות נראה, ואילו מסלולים נבחר. מדובר בפיקוח שהוא גם מנגנון של יצירת שיח.
מבחינת פוקו הפתרון הוא לא לנטוש את הטכנולוגיה, כי הטכנולוגיה שמעצבת את מה שאנחנו יודעים, חושבים, מבינים ואפילו מרגישים כבר תמיד קיימת. מה שצריך לנטוש הוא את האשליה שהטכנולוגיה הזו תמיד ניטרלית. אם כל ידע הוא פוליטי, גם הנתונים אינם "טהורים". אם הכוח יוצר את השיח, אזי האלגוריתם – מנוע השיח החדש – הוא אתר שצריך לבחון לא רק טכנית, אלא אידיאולוגית. השאלות שחשוב לשאול הן: של מי האמת שהמערכת מקדמת? אילו קולות לא נשמעים? אילו אפשרויות אינן קיימות יותר?
