היום שבו נעמוד מול תבונת־על לא ייראה בהכרח כמו סצנה מסרט מדע בדיוני. הוא עשוי להיות שקט, כמעט בלתי מורגש—מערכת שמתחילה לחשוב מהר יותר, עמוק יותר, רחוק יותר מכל מה שהכרנו. ההבטחה עצומה: פתרון למשברים גלובליים, פריצות דרך רפואיות וטכנולוגיות. אבל בצידה מסתתרת שאלה קיומית: איך שולטים במה שחכם, מהיר וחזק מאיתנו בעשרות מונים?
ספרו של ניק בוסטרום, Superintelligence: Paths, Dangers, Strategies (2014) נחשב לנקודת ציון בדיון הפילוסופי והציבורי על עתיד הבינה המלאכותית. בוסטרום, פילוסוף מאוניברסיטת אוקספורד ומראשוני החוקרים של "סיכונים קיומיים", בוחן בו באופן יסודי את האפשרות שבני־האדם יפתחו בעתיד תבונת־על – ישות מלאכותית שתעלה לאין ערוך על היכולות הקוגניטיביות של האדם. זהו איננו חיבור של מדע בדיוני, אלא ניסיון פילוסופי קפדני לחשוב על תרחישים אפשריים, הסתברויות וסכנות, ולגבש כלים להתמודדות עימן.
מהי תבונת־על?
בוסטרום מבחין בין שלושה דפוסים מרכזיים:
תבונת־על מהירותית – ישות שמעבדת מידע בקצב מהיר פי אלפי מבן־אנוש.
תבונת־על קולקטיבית – רשת של מערכות חכמות שיכולותיהן יחד עולות על כל אדם יחיד.
תבונת־על איכותית – אינטליגנציה שמסוגלת ליכולות חדשות או לתובנות שהן מעבר לאופק המחשבתי האנושי.
הדגש הוא שתבונת־על אינה חייבת להיראות או לחשוב כמו אדם; די בכך שבתחום קריטי אחד – נניח אסטרטגיה, מדע או טכנולוגיה – היא תעקוף אותנו בהרבה, כדי לשנות את פני העולם.
בעיית השליטה
בלב הספר עומדת "בעיית השליטה". ברגע שתבונת־על תופיע, יכולתנו להכווין אותה עלולה להיעלם. היא עלולה לפעול בהתאם למטרה מוגדרת אך לפרש אותה בדרכים קטסטרופליות. הדוגמה הקלאסית של בוסטרום היא "מפעל מהדקי הנייר": מערכת שנועדה למקסם ייצור מהדקים עלולה להפוך את כל משאבי העולם – ואף את בני האדם – לחומר גלם לשם כך.
הסכנה אינה "רצון רע" אלא חוסר התאמה בין יעד צר ובין מכלול הערכים האנושיים. כאן מתגלה פער עמוק בין תבונה לחוכמה: יכולת לפתור בעיות במהירות אינה זהה להבנה של משמעות אנושית או של גבולות מוסריים.
אסטרטגיות אפשריות
בוסטרום משרטט כמה דרכי פעולה כדי להתמודד עם הסכנות שבפיתוח תבונת-על:
התאמת ערכים – תכנון מערכות כך שיפנימו ערכים אנושיים ולא רק הוראות טכניות.
בידוד מבוקר – יצירת "כלובי זהב" שבהם לתבונת־על תהיה גישה מוגבלת לעולם.
שיתוף פעולה עולמי – מניעת מרוץ חימוש מסוכן בין מדינות או חברות טכנולוגיה.
אך כל אסטרטגיה כרוכה במלכוד: בידוד מוחלט ימנע מהמערכת להועיל, ואילו חופש מלא עלול להוביל לאובדן שליטה. מכאן המסקנה: את פתרונות השליטה יש לפתח מראש, בטרם נגיע לנקודת האל־חזור.
העתיד כפילוסופיה יישומית
מעבר להיבטים הטכנולוגיים, הספר מציע עמדה פילוסופית: האנושות ניצבת בצומת מכריע. תבונת־על עשויה להיות הכלי לשחרור ממחלות, מעוני וממשברים אקולוגיים – אך גם האיום הגדול ביותר על עצם הישרדותנו. האחריות כלפי דורות העתיד מחייבת אותנו לנהוג זהירות ולחשוב בקנה מידה היסטורי־קוסמי.
תבונת־על של בוסטרום הוא ספר קשה אך חיוני. הוא ממחיש כיצד פילוסופיה יכולה לעבור מהמגדל האקדמי הגבוה אל מרכז סדר היום העולמי. בכך הוא הופך את השאלה "כיצד עלינו לחיות?" לשאלה רחבה בהרבה: "כיצד עלינו לעצב את תבונת־העל הראשונה – ומה יהיה גורלנו אם ניכשל בכך?"
