ה-AI הוא הגולם של הדור שלנו

פתחתי את נתוני הפעילות ההיסטוריים שלו על המסך הגדול בחדר הישיבות וביקשתי שיסתכל איתי: אותו פרופיל אנושי, אותו רקע חברתי, אותו מסלול בדיוק. "אתה רואה את מי אישרתם בעשור האחרון? זה בדיוק מה שהמערכות החדשות שלכם ילמדו".

הוא שתק רגע. ואז אמר את המשפט שבגללו אני יושבת לכתוב את הטור הזה: "אז בעצם היא תעשה מה שעשינו תמיד. רק מהר יותר."

מהר יותר, כן. אבל לא בהכרח באופן הוגן.

דרק מובלי מארצות הברית, גבר שחור בשנות ה-40 לחייו שמתמודד עם מוגבלות, שלח קורות חיים ליותר מ-100 משרות ונדחה מכולן. אחרי רצף הדחיות הזה הוא הבין שמשהו לא תקין: הוא לא נדחה כי הוא לא מתאים, אלא כי משהו או מישהו במערכת פשוט לא רוצה אותו.

הוא הגיש תביעה תקדימית נגד Workday, ענקית התוכנה לניהול כוח אדם שמשמשת חברות ענק כברירת מחדל למיון מועמדים, בטענה שהאלגוריתם שלה מתרגם נתונים תמימים למראית עין לסימנים מפלים, ומסנן מועמדים על בסיס גזע, מין וגיל.

שופטת מחוזית בקליפורניה סירבה לבטל את התביעה וקבעה תקדים: חברות כמו Workday עלולות לשאת באחריות משפטית ישירה אם הכלים שלהן מייצרים אפליה. "המחשב אשם" כבר לא יוכל לשמש כתירוץ לחוסר פיקוח על מערכות חכמות המפעילות סינון אוטומטי על בני אדם.

כשמדובר בסינון קורות חיים אנחנו מדמיינים לנו את מנהלת משאבי אנוש יושבת עם קפה שהתקרר ועל השולחן שלה מונחים ארבעים ושבעה קורות חיים פתוחים, היא מביטה חצי שנייה על הכתובת, עוד שנייה על האוניברסיטה, לא ראתה את היחידה הצבאית שקיוותה לראות והמשיכה הלאה. אולי העבירה לערמת המתאימים לתפקיד. אולי לא. אי אפשר לדעת. אבל יכולנו לדמיין אותה. זה חשוב, האפשרות לדעת מי זה שמסנן לנו את האפשרות לפרנסה. יש לנו גם כתובת להתלונן. היום, ביותר ויותר מקומות, המנהלת עם הקפה מתחילה להעלם.

אז במקום המנהלת עכשיו יש לנו מערכות AI. אוטומטיות לגמרי. הן ממיינות קורות חיים, מחשבות סיכוני הלוואות, מחליטות איזו בקשה תיבדק עכשיו ואיזו תמתין. זה באמת יעיל. הבעיה: המערכות האלה לומדות מהעבר שלנו, והעבר הישראלי מלא בקיצורי דרך.

וזה הסיפור המעניין באמת על הטיות AI בישראל. המכונות הישראליות החכמות לא יביאו לכאן גזענות חדשה מאמריקה, ארוזה יפה בענן. יש לנו אפליה משלנו. שנים. שכבות על שכבות. יחידה צבאית, שכונה, בית ספר, שם משפחה, חבר מהצוות, אבא שמכיר מישהו, אמא שעבדה פעם עם מישהי.

ההייטק הישראלי למשל אוהב מאוד את הסיפור שהוא מספר על עצמו. מקום של מצוינות. מי שטוב מתקדם. מי שמבריק מתקבל. אין משפחות, אין מעמדות, אין שכונות. כולנו ילדים יחפים עם לפטופ ורעיונות ששווים מיליונים (לא באמת).

כל מי שראה פעם מגייס ישראלי קורא קורות חיים יודע שיש טקסט ויש טקסט סמוי: איפה שירת, איפה למד, מי המליץ. ואם אין שם את המילים הנכונות, גם זה אומר משהו.

ואז מגיעה מערכת AI ומגדירים לה: תלמדי את מי גייסו עד עכשיו. והיא לומדת בדיוק את זה. כי אם במשך שנים החברה גייסה אנשים מאותן יחידות, מאותם מוסדות, דרך אותן רשתות חברתיות, המערכת תמצא את הדפוס.

איך? דרך "משתנים עקיפים" (Proxy). המערכת לא יודעת אם המועמד גבר או אישה ומאיזה מגזר הוא, אבל היא מסיקה את זה משאר הנתונים: מוסד הלימודים, התחביבים, הניסוחים בקורות החיים. בשבריר שנייה אתם נעולים במשבצת סטטיסטית, בלי שתדעו למה נפסלתם.

ואיפה הפיקוח האנושי שכולם מדברים עליו? המצב החוקי בישראל אוסר באופן כללי על אפליה בקבלה לעבודה (מכוח חוק שוויון הזדמנויות בעבודה), אך אין כיום רגולציה ספציפית, נהלים מוגדרים או מנגנוני פיקוח ייעודיים מטעם המדינה על מערכות טכנולוגיות ואלגוריתמים המסננים קורות חיים.

וזה מה שהמחקר על אפליה אלגוריתמית מנסה לומר: בינה מלאכותית יכולה אולי להיפטר מחלק מהשטויות האנושיות. מצב רוח. אנטיפתיה. מגייס שלא אוהב את הפרצוף שלך. אבל מהכללות סטטיסטיות היא לא יודעת להיפטר. ייתכן שהמערכת באמת מדויקת, ובנתוני החברה אנשים שעברו במסלול מסוים באמת הצליחו יותר. אבל מה עם מי שמעולם לא קיבל הזדמנות להיכנס למסלול?

בעיניי, זה סיפור אזהרה חשוב. לא כי צריך להפסיק להשתמש בבינה מלאכותית, אלא כי צריך להפסיק להתייחס אליה כאל כלי ניטרלי מעצם קיומו.

מועמד שלא הגיע מיחידה טכנולוגית מוכרת עלול להיפסל לפני שמישהו בדק באמת את היכולות שלו. לקוח שגר באזור מסוים עלול לקבל תנאי אשראי פחות טובים, גם אם הוא עצמו מתנהל כלכלית מצוין.

אזרח שפונה לשירות ציבורי דיגיטלי עלול להיתקע במסלול איטי יותר, לקבל יותר דרישות, או לא להבין למה הבקשה שלו נדחתה.

הנזק הגדול הוא שההטיה הופכת לשקטה יותר ויותר ככל שהמערכות משתכללות. בעבר היה אפשר לזהות החלטה בעייתית אצל מנהל, פקיד או מגייס. היום היא יכולה להופיע כציון, דירוג, המלצה או סירוב אוטומטי. זה נראה טכני, אבל ההשפעה היא חברתית והנזק ישפיע גם על הטווח הרחוק.

שלושה דברים. בלי המילים "אתיקה" ו"אחריות". שלושה דברים פשוטים שאפשר לבדוק אם באמת קרו.

אחד: כל ארגון, רשות ממשל או מוסד מדינה מחזיק כוח אדם מסודר ויעודי שיודע להסביר מדוע קיבלנו דחיה. לפונים יש כתובת והם מקבלים סיבה אמיתית, ממשית, ולא תשובה עמומה של "המערכת קבעה".

שתיים: גוף חיצוני, רגולטור או בית משפט, יכול להיכנס ולומר: תריצו את המערכת מולי, על נתוני בדיקה, ותראו לי את התוצאות.

שלוש: חוק ברור. החברה או המוסד שמפעילים את המערכת הם אלו שצריכים להוכיח שהיא לא מפלה טועה. לא האדם שנדחה או קיבל מענה שגוי הוא שצריך להוכיח.

כי בסוף, ה-AI הוא הגולם של הדור שלנו. באגדה מפראג, כשהגולם יצא משליטה, מחקו לו אות אחת מהמצח, ו"אמת" הפכה ל"מת". אצלנו התהליך הפוך: חרטנו לו "אמת" על המצח, בלי לבדוק איזו אמת בדיוק הוא למד מאיתנו.

קרא את הכתבה המלאה במקור