תוקף המדידה במחקר – סיכום

תוקף– הגדרה נומינלית: מדד הוא תקף, ככל שהוא מודד את התופעה שהוא אמור למדוד.

כלומר, תוקפו של המשתנה התצפיתי הוא המידה שבה הוא מודד את מה שהוא אמור למדוד- את המשתנה התיאורטי. למשל, "האם כמות הזיעה מצביעה על רמת החרדה?".

תוקף עוסק במהות המשתנה הנמדד, הוא מושג תיאורטי, ולא סטטיסטי.

דוגמא– נניח שבנינו שאלון המודד את המשתנה התיאורטי "הישגיות".

• מהימנות– האם השאלון בכלל מודד משהו? האם הוא משקף תוצאות יציבות או מקריות?
• תוקף– האם השאלון אכן מודד הישגיות, או משהו אחר?

שימו לב: תוקף הוא מונח יחסי- מדידה יכולה להיות תקפה למשהו מסוים ולא לשני, או במקום מסוים ולא באחר. למשל, שאלון מסוים יכול להיות מדד תקף למעמד חברתי בישראל, אך לא בארצות אחרות (בישראל, אדם עם 2 מכוניות הוא מעמד גבוה. בשוויץ הוא בינוני), מבחן יכול לנבא הצלחה ברפואה אך לא בבחינות בגרות וכו'.

הגדרה אופרציונלית

כמובן שאי אפשר לבדוק תוקף ישירות ולכן נצטרך הגדרה אופרציונלית בכדי לאמוד אותו. הגדרה אופרציונלית תלויה  בשימוש שנעשה במכשיר המדידה.

למעשה, יש 3 סוגי תוקף שונים:

תוקף ניבוי (מכונה גם תוקף סטטיסטי\ אמפירי\ תלוי קריטריון)

לעתים מודדים משתנה אחד כדי לנבא על פיו משתנה אחר. במקרה זה, תוקף המדידה מוערך לפי מידת הצלחתה בניבוי. למשל, פסיכומטרי שממיין סטודנטים לאוניברסיטה, אמור לנבא את מידת הצלחתם בלימודים:

המשתנה הנמדד (המנבא) הוא ציון הפסיכומטרי.

משתנה הקריטריון (המנובא) הוא ההצלחה בלימודים (שנמדדת עפ"י ציון הב"א).

תוקף הניבוי של מכשיר המדידה (מבחן הפסיכומטרי) הוא- המתאם בין ציוני מכשיר המדידה לבין ציוני הקריטריון.

• בתוקף ניבוי, מכשיר המדידה משמש כאומדן לערכי המשתנה המסוים בעבר, בהווה או בעתיד.

3 סוגי שימוש בתוקף ניבוי:

• תוקף שלאחר מעשה– האומדן מתייחס לאירוע בעבר, משתנה הקריטריון נמדד לפני המשתנה המנבא (מבחן למבוגרים המנבא אירוע בילדותם).
• תוקף מקביל– האומדן מתייחס לאירוע בהווה, הקריטריון והמשתנה המנבא נמדדים במקביל (מבחן המאבחן פגיעה מוחית).
• תוקף ניבוי– האומדן מתייחס לאירוע בעתיד הקריטריון נמדד אחרי המשתנה המנבא (מבחן כניסה לאוניברסיטה).

כלומר, למושג "תוקף ניבוי" יש 2 משמעויות:

• משמעות צרה – בדיקת תוקף, כאשר הקריטריון נמדד אחרי המנבא.
• משמעות רחבה – הכוללת את כל שלשת הסוגים לעיל.
  • את 3 סוגי תוקף הניבוי מכנים גם "שיטות תיקוף תלויות קריטריון", משום שבכולן מחשבים את המתאם בין משתנה מנבא לבין קריטריון, אחרי שכל הנתונים קיימים זה לא חשוב באיזה סדר נאספו.
  • בד"כ לא נצפה לתוקף גבוה במדעי החברה בשל מורכבות הנבדקים.

גם לערכים נמוכים (מתאם 0.3) יש ערך, אם מכשיר המדידה מבטא שיפור בניבוי לעומת מצב ללא שום מכשיר מדידה (בעיקר בעניינים מעשיים כמו מיון עובדים או תלמידים) למשל אם נמצא שסוכני מכירות שקיבלו ציון גבוה במבחן מקדים מוכרים ב10% יותר טוב מאחרים, זה אמנם נשמע מעט אבל מעשית יש לזה השלכות גדולות.

בעיות בתוקף הניבוי: לעתים מתעוררת בעיה עם התקפות והמהימנות של הקריטריון עצמו. לדוגמה אם נרצה לנבא התאמה של חיילים לקצונה, ניתן להם מבחן ונרצה לבדוק את תוקפו מול הקריטריון שיהיה ציון סוף קורס קצינים. אבל האם זה קריטריון תקף? האם הציון משקף מי יהיה קצין טוב יותר? וכמובן גם המהימנות בעייתית כיוון שלא כל החיילים מוערכים ע"י אותם שופטים.

תוקף תוכן

לעתים מכשיר המדידה לא נועד לניבוי משתנה כלשהו, אלא למדוד ביצוע באופן ישיר. במקרה זה, אין משמעות למתאם בין תוצאות המדידה לבין הקריטריון, משום שהמדידה עצמה היא הקריטריון.

למשל, מבחני הישג, הבודקים שליטה בחומר לימוד מסוים.

תוקף מדידות כאלו תלוי במידה, בה פריטי המבחן מייצגים את עולם התוכן בו מעוניין החוקר לבדוק ביצוע.

לצורך כך ניתן להשתמש בשטחות. לדוגמה- את עולם התוכן של הוראת חשבון בכיתה א' ניתן לייצג ב- 3 שטחות,

כל שטחה מסווגת את החומר עפ"י ממד שונה. אפשר להרכיב מבחן, בו כל שאלה כוללת 3 מרכיבים, אחד מכל שטחה.
כמובן גם האופן והסדר שבו מוצגות השאלות חשוב.

כדי להבטיח תוקף תוכן יש להקפיד על:

• ניתוח טוב של עולם התוכן שבו מעוניינים.
• אוסף מייצג של פריטים מעולם תוכן זה.
• בניה טובה של המכשיר.

לעומת תוקף הניבוי, בדיקת תוקף התוכן מבוססת על היגיון ולא על סטטיסטיקה. המכשיר נשפט עפ"י ההתרשמות, מן המידה שבה הוא מייצג את עולם התוכן.

יש מבחנים סטטיסטים שתוצאותיהם הם מעין "הוכחות נסיבתיות" לתוקף תוכן. לדוגמה- עקיבות פנימית: אם מבחן נמצא מהימן במובן זה, הרי שלפריטים בו תוכן משותף, כלומר- קשורים לאותו עולם תוכן. מכאן, שיש לו גם תוקף תוכן. מסקנה זו בעייתית ב-2 מקרים קיצוניים:

1. כאשר מרבית הפריטים אומנם מודדים את אותו עולם תוכן, אך לא את עולם התוכן הרצוי אלא משהו אחר.
2. עולם תוכן הטרוגני– כאשר עולם התוכן הוא כזה, שלא אמור להיות מתאם גבוה בין פריטיו. למשל, יכולת חישוב אינה בהכרח במתאם עם יכולת מופשטת, אך שתיהן רלוונטיות להבנת חשבון. לכן, המבחן יהיה הטרוגני, ואי אפשר לצפות בו לעקיבות פנימית.

תוקף מבנה

תוקף ניבוי אפשרי רק כאשר קיים קריטריון ברור, שלעומתו אפשר לתקף את מכשיר המדידה. קריטריון כזה קיים, כאשר למשתנה הנמדד יש הגדרה אופרציונלית חד משמעית, שממצה את משמעות המשתנה התיאורטי. רוב המשתנים התיאורטיים במדעי החברה (אינטליגנציה, תוקפנות) אינם כאלה.  (מול מה יתוקף מבחן אינטיליגניצה?)

תוקף תוכן מתאפשר רק כאשר יש הסכמה לגבי עולם התוכן של המשתנה התיאורטי. לדוגמה-לגבי אינטליגנציה אין הסכמה מלאה מה צריך להכיל עולם התוכן.

כלומר, הקושי לתקף מדדי משתנים גדל, ככל שפוחתת ההסכמה לגבי הגדרתם האופרציונלית. זה די הגיוני- כאשר אין הסכמה "על מה שהמדידה אמורה למדוד" (המשתנה התיאורטי), קשה לבדוק "עד כמה המדידה מודדת את מה שהיא אמורה למדוד".

בתוקף מבנה משתמשים בכל פעם שרוצים לתקף מכשיר מדידה כדי למדוד משתנה תיאורטי (מבנה= משתנה תיאורטי). מדובר בהרבה שיטות, כאשר בחירת השיטה תלויה בתיאוריה, בה מעוגן המשתנה התיאורטי.

דרכים לבדיקת תוקף מבנה:
חקר מתאמים

התיאוריה בה מעוגן המבנה (המשתנה התיאורטי) מכתיבה  אילו קשרים ניתן לשער שקיימים בין המשתנה הנמדד למשתנים אחרים.
למשל, תיאורית ההישגיות שהוצגה-אילו בדיקות יתמכו בתוקף המבנה של מבחן הישגים:

• מתאם חיובי בין מבחן ההישגים למבחן יכולת (מדד אחר של המשתנה התיאורטי).
• מתאם חיובי בין מבחן ההישגים למבחן ציור- איש.

העדר מתאם יטיל ספק גם בתוקף המבחן (האם הוא מודד הישגיות?) וגם בתיאוריה (אולי אין הצדקה לצפות למתאמים האלו?).

חקר הבדלים בין קבוצות-

כדי לתקף שאלון על "מידת העניין במוזיקה", אפשר להעביר אותו לקבוצת מנויים לקונצרטים וקבוצת לא- מנויים.

נצפה למצוא, שהקבוצה הראשונה מתעניינת יותר במוזיקה מאשר השנייה.

בדוגמא זו מודגשות 2 נקודות:

• התיאוריה מנבאת הבדלים בין 2 קבוצות בתוצאות המדידה.
• מציאת הבדלים כאלו תומכת בתוקף המבנה של המכשיר. אם לא ימצא ההבדל יפגם תוקף השאלון אלא אם כן נערער על הקביעה שיש לצפות שמנויי התזמורת מתעניינים יותר במוסיקה.

תוקף הניבוי כחלק מתוקף המבנה

חישובים המודדים תוקף ניבוי הם חלק מהתהליך הקשה יותר של מדידת תוקף מבנה של מכשיר.
למשל, כל תיאורית אינטליגנציה תנבא מתאם חיובי בין מבחן אינ' לבין מבחן הישגים בלימודים. מתאם כזה מספיק כדי להצדיק שימוש במבחן האינ' למיון סטודנטים לאוניברסיטה כי הוא מחזק את התוקף הניבוי. אך עבור תוקף המבנה, זו רק עדות תומכת אחת ולא הוכחה חותכת שהמבחן אכן בודק אינטליגנציה ולא תכונות אחרות. חישובים סטטיסטיים כאלו בודקים תוקף נבויי הם רק חלק מבדיקת תוקף מבנה.

בדיקת מהימנות כחלק מתוקף המבנה

התיאוריה בה מעוגן המשתנה הנמדד מכתיבה את מידת העקיבות הפנימית שנצפה למצוא בין פריטי המבחן, ואת מידת היציבות של תוצאותיו לאורך זמן.

אם התיאוריה מנבאת מתאם בין הפריטים במבחן, אז עקיבות גבוהה תתרום לתוקף המבנה.

למשל, במבחן המתיימר לבדוק תכונות אישיות יציבות, נצפה למתאמים גבוהים בין תוצאות המבחן בשתי העברות, אפילו בטווח של כמה חודשים.

עקביות בלבד לא תספיק לבדיקת תוקף מבנה, ניתן לבנות מבחן עם פריטים דומים ולקבל עקביות גובהה, במקרה כזה המבחן לא יעבור בדיקות אחרות לתוקף מבנה.

בתוקף מבנה מנסים לבחון את ההלימה בין משתנה תצפיתי לבין משתנה תיאורטי. לשם כך, יש לענות על 2 שאלות:

• באיזו מידה המשתנה התצפיתי ממצה את מרכיבי המשתנה התיאורטי. (על זה ינסה לענות תוקף מתכנס)
• באיזו מידה המשתנה התצפיתי בודק רק את המשתנה התיאורטי, ולא היבטים אחרים שאינם רלוונטים לו. (על זה ינסה לענות תוקף מבחין)

בדיקת תוקף מתכנס

נבחן ממה מורכבת מה שהגדרנו כשונות האמיתית בין ערכים נצפים:
1. שונות התכונה– שונות בין בבני אדם ברמת המשתנה הנמדד (התכונה)
2. שונות השיטה– שונות בין בני אדם באופן התגובה שלהם לשיטת מדידה. זו אכן שונות אמיתית בין הנבדקים, אך היא לא רלוונטית לנו.

שונות השיטה
1. נטייה של אנשים מסוימים להגיב באופן מסוים ועקבי לשאלוני דיווח עצמי, לדוגמה לכאלו הנתונים על סולמות (יש אנשים שיטו למרכז, יש אנשים שיטו לאחד הצדדים)
2. רצייה חברתית- להסכים עם דברים מקובלים ולהתנגד ללא מקובלים. אנשים שונים ברמת התכונה הזו וזה יכול להשפיע על האופן בו תמדד תכונה אחרת שמעניינת אותנו.

• אי אפשר לבטל שונות זו, אך אפשר לנסות לאמוד את החלק היחסי שלה בשונות כולה ע"י שימוש בשני כלי מדידה לפחות המבוססים על שיטות שונות (לדוגמה שאלון וראיון). בעזרת מתאם בין השיטות נוכל לראות מה תרומת השיטה לשונות – אם יתקבל מתאם גבוה נדע שאין לשיטת המדידה השפעה רבה על השונות. מתאם נמוך יצביע על השפעה של השיטה.
• יש להבחין בין בדיקת מהימנות ובמבחן חוזר לבדיקת תוקף מתכנס. בבדיקת מהימנות נבדוק מתאם בין "שני" כלים המודדים את אותה תכונה באותה שיטה (בעצם אותו מבחן המועבר בזמנים שונים). בבדיקת תוקף מתכנס נבדוק אותה תכונה בשיטות שונות ככול הניתן.

תוקף מבחין

נועד לענות על השאלה עד כמה כלי המדידה בודק רק את המשתנה התאורטי, נרצה לוודא שהשונות האמיתית אינה תוצר של שונות אמיתי בתכונה דומה שלא התכוונו לבדוק.

מה שנעשה זה לבדוק גם את התכונה הדומה וגם את זו המעניינת אותנו, ונרצה שהמתאם ביניהם יהיה נמוך. מתאם נמוך יעיד ששני כלי המדידה מודדים משתנים תיאורטיים שונים.

השוואה בין תוקף מתכנס ומבחין-

חוקרים פיתחו שיטה לבדוק סוגי תוקף אלו ע"י מטריצה מרובת תכונות ושיטות MMM:

נדגים את השימוש במטריצה ע"י הניסיון לחקור "עמדות כלפי האב".

• החוקרים פתחו שאלון שבודק עמדות כלפי האב. כדי לבדוק תוקף מתכנס– הם השוו את השאלון עם ראיון אישי. כלומר, השוואת שני מכשירים שונים, ששניהם אמורים למדוד "עמדות כלפי האב".

השוואה זו משרתת את בדיקת התוקף המתכנס של שתי שיטות המדידה– את שתיהן ניתן לראות כשתי הגדרות אופרציונאליות של אותו משתנה. מציאת מתאם גבוה תעיד על תוקף מתכנס.

• בדיקת התוקף המבחין מחייבת לחשוב על משתנים אחרים, שחשוב להבחינם מהמשתנה הנמדד: למשל, עמדות כלפי חבר (דמות קרובה). בבדיקת התוקף המבחין, ישוו תוצאות השאלון "עמדות כלפי האב" עם שאלון "עמדות כלפי החבר".מציאת מתאם נמוך תעיד על תוקף מבחין.

כלומר, נבדקו 2 משתנים (עמדות כלפי האב והחבר) ב-2 שיטות מדידה: שאלון וראיון. בדיקת המתאמים להערכת התוקף המתכנס והמבחין של שאלון "עמדות כלפי האב", מאפשרת בו זמנית לבחון את התוקף המתכנס והמבחין של שאלון העמדות כלפי החבר ושני הראיונות בדבר העמדות כלפי האב והחבר.

בדיקת התוקף המתכנס של כל אחד מ-2 המשתנים מבוססת על המתאמים בין המדידות של אותם משתנים ב-2 השיטות השונות.   מדובר ב-2 מתאמים, שככל שיהיו גבוהים יותר, כן התוקף המתכנס גבוה יותר:

• מתאם בין הראיון לשאלון בעמדות כלפי האב.
• מתאם בין הראיון לשאלון בעמדות כלפי החבר.

לעומת זאת, תוקף מבחין מחייב מתאם נמוך בין המשתנים השונים בתוך שיטת מדידה אחת. כלומר, מתאם נמוך בין עמדה כלפי אב ועמדה כלפי חבר בשאלון ומתאם נמוך בעמדות כלפי אב וכלפי חבר בראיון.

בנוסף, אם אכן קיימים הבדלים בין העמדות לדמויות השונות נצפה למתאמים נמוכים גם בין שיטות שונות (אם אין מתאם באותה שיטה, על אחת כמה וכמה לא יהיה בין שיטות שונות).

• מהימנות פנימית גם כן נבדקת בטבלה, באלכסון. אלו המתאמים בין שני ניסיונות למדוד את אותו משתנה באותה שיטה. מהימנות היא תנאי הכרחי לבדיקת תוקף. חשוב שמקדמי המהימנות יהיו גבוהים מ0.8 בכדי שיהיה מוצדק לבדוק את שאלת התוקף.

תוקף המבנה ובדיקת התיאוריה

כאשר ממצאי המחקר סותרים את התיאוריה, ניתן להסיק אחת מ-3 מסקנות (שלא סותרות זו את זו):

• המבחן (המכשיר) אינו מודד את המשתנה ולכן אינו תקף.
• התיאוריה מוטעית.
• מערך המחקר (הניסוי) אינו בודק את ההשערה כיאות.

אם ידוע שמערך המחקר היה תקין הבחירה אם להטיל ספק במכשיראו בתיאוריה תלויה בד"כ בעד כמה מבוססת אמפירית התיאוריה.

תוקף ומהימנות

כזכור, ככל שגדל מרכיב שונות הטעויות בערכים הנצפים (בציוני מכשיר מסוים)- כן קטנה מהימנות המכשיר. ציינו ששורש המהימנות היא חסם עליון לכל מתאם אפשרי בין הנתונים המתקבלים מהמכשיר לבין נתוניו של כל מכשיר אחר. מכאן ששונות טעויות גדולה מקטינה לא רק את המהימנות, אלא גם את התוקף. לעומת זאת, שונות טעויות קטנה מגדילה את המהימנות, אך לא את התוקף– שאלון אינטליגנציה עשוי להיות מהימן במובן של עקיבות פנימית, יציבות ואקוויוולנטיות- אך אין מתאם בינו לבין מבחני אינטלגנציה אחרים, ומתברר שהוא בודק משתנה אחר לחלוטין. לכן, מהימנות היא תנאי הכרחי אך לא מספיק לתוקף.

אולם, שימו לב שמשפט זה מותנה במשמעויות השונות של תוקף ומהימנות.    למשל, אם התיאוריה לא מנבאת שהמדידה תהיה יציבה לאורך זמן, הרי שהעדר מהימנות כיציבות לא יפגום בתוקף המבנה.
בחזרה אל: מדידה – סיכומים

בחזרה אל: פסיכולוגיה ניסויית – סיכומים