בספרה The New Jim Code מציבה החוקרת רוהה בנג'מין שאלה שנשמעת פשוטה, כמעט מובנת מאליה—אבל ההשלכות שלה מרחיקות לכת: מה קורה כאשר הטכנולוגיות שאנחנו בונים משקפות את ההטיות שאנחנו נושאים איתנו? התשובה שלה דחופה אך מדויקת: טכנולוגיה לא רק מאיצה החלטות; היא מעצבת מחדש היררכיות חברתיות, ולעיתים קרובות עושה זאת כך שעוולות ישנות מקבלות חיים חדשים תחת מסווה של חדשנות וניטרליות.
העבודה של בנג'מין יושבת בצומת שבין מדע לחברה—מקום שבו הנחות על אובייקטיביות נוטות להסתיר דפוסים מושרשים של אי־שוויון. “הקוד של ג’ים קרואו החדש” הוא משחק לשוני על חוקי ג’ים קרואו הידועים לשמצה—מערכת חוקים שהסדירה הפרדה גזעית בארצות הברית—אבל הוא מצביע על משהו אחר: היגיון מקודד, טכני לכאורה, שמעניק לגיטימציה לאפליה באמצעות נתונים, אלגוריתמים ומערכות “חכמות” שממשיכות בשקט את ההטיות של מתכנניהן האנושיים.
אחד הצירים המרכזיים בניתוח של בנג'מין הוא מיתוס הניטרליות הטכנולוגית. אנחנו אוהבים לחשוב שאלגוריתמים הם הוגנים כי הם כתובים בקוד ולא ברגש. אלא שנתונים אינם “גלם” ניטרלי; הם נאספים מתוך הקשרים חברתיים שכבר מעוצבים על ידי אי־שוויון. כך, למשל, כלים של שיטור חזוי משתמשים בנתוני עבר כדי לנבא היכן יתרחש פשע. אבל כאשר נתוני העבר משקפים שיטור יתר בשכונות שחורות וחומות, האלגוריתם לא מתקן את ההטיה—הוא מגביר אותה. התוצאה היא “שיטור חכם” שאינו חכם במיוחד בכל הנוגע לצדק.
דבר דומה קורה במערכות זיהוי פנים, המוצגות ככלי ביטחון ונוחות אוניברסליים אך פועלות הרבה פחות טוב על פנים כהות. שיעורי הטעות שם גבוהים פי כמה לעומת זיהוי פנים בהירות. כאן, טכנולוגיה שממותגת כיעילה לכולם חושפת הנחות גזעיות עמוקות שמוטמעות בנתוני האימון ובסדרי העדיפויות של התכנון. הבעיה איננה רק טעות בזיהוי; זו בעיית הכלה: מי נספר כקריא למערכת, ומי נשאר בלתי נראה או מזוהה לא נכון.
בנג'מין מכנה את התופעה הזו “טכנו־מדע קרצראלי”—אופן שבו טכנולוגיה מרחיבה מערכות ענישה במקום לפרק אותן. אלגוריתמים לקביעת ערבות, ציוני סיכון וכלי גזירת עונש מאומצים לעיתים קרובות בהבטחה ליעילות והוגנות. בפועל, הם עלולים להקשיח פערים קיימים במערכת המשפט הפלילי, ולהפוך שיפוטים סובייקטיביים למדדים “אובייקטיביים” שקשה לערער עליהם.
דמיינו אלגוריתם ערבות שמדרג נאשם כבעל “סיכון גבוה” על סמך אזור מגורים, מצב תעסוקתי או הרשעות קודמות. אף שהקריטריונים מוצגים כניטרליים, הם ספוגים בהטיות חברתיות וגזעיות. הנאשם אינו נשפט רק על נסיבותיו האישיות, אלא על ההיסטוריה החברתית של הקהילה שממנה הוא מגיע—היסטוריה של שיטור דיפרנציאלי, הדרה כלכלית והשקעה לא שוויונית. במובן הזה, הטכנולוגיה לא מתעלה מעל אי־השוויון; היא מקבעת אותו.
ובכל זאת, הספר של בנג'מין אינו רק אבחנתי—הוא גם יוצר. היא מתעקשת שהבנת “הקוד החדש של ג’ים קרואו” חייבת לבוא יד ביד עם דמיון משחרר. איך ייראו טכנולוגיות שלא מחזקות לוגיקות ענישה אלא מקדמות צדק ושוויון? כאן נכנס הרעיון של דמיון משחרר.
גישה משחררת אינה מתחילה מהטכנולוגיה כנתון, אלא מאנשים וקהילות. במקום לשאול כיצד לייעל שיטור, אפשר לשאול כיצד לצמצם פגיעה ולבנות ביטחון באמצעות השקעה בדיור, חינוך ובריאות—תחומים שבהם טכנולוגיה יכולה לתמוך, לא להחליף שיקול דעת אנושי ודאגה. במקום להשתמש בציוני סיכון כדי לנבא “מסוכנות”, ניתן להשתמש בנתונים כדי לזהות מוקדי צורך והזדמנות. זהו היפוך עמוק: מניהול אוכלוסיות להעצמתן.
בעידן שמוגדר יותר ויותר על ידי אלגוריתמים, מדירוג אשראי ועד מערכות גיוס, משיטור חזוי ועד סינון חינוכי, בנג'מין מדגישה שאנחנו לא מקבלי החלטות פסיביים של שינוי טכנולוגי. הערכים וההנחות שאנחנו מטמיעים במערכות היום יעצבו את המציאות החברתית של מחר.
