תוקף ממצאי הניסוי – סיכום

תוקף ממצאי הניסוי כולל 4 קריטריונים השופטים ממצאים עם השערה סיבתית, והם:

• תוקף המסקנה הסטטיסטית והתוקף הפנימי הדנים בהסקה סיבתית.
• תוקף המבנה והתוקף חיצוני הדנים ביכולת ההכללה של הממצאים.

שימו לב: סוגי התוקף ביחידה 3 דנו בתוקף המדידה. סוגי תוקף אלו דנים בתוקף ממצאי המחקר. לתוקף כלי המדידה ומהימנותם יש השפעה רבה על תוקף ממצאי המחקר.

תוקף המסקנה הסטטיסטית

תוקף המסקנה הסטט' בוחן את אמיתות הקשר בין המשתנה הב"ת לתלוי (האם הקשר שנמצא הוא אמיתי או מקרי). השפעת משתנה אחד על השני מתבטאת בקשר ביניהם (שונות משותפת). אם אין שונות משותפת, אין כל סיבה להניח שמשתנה אחד בכלל משפיע על השני.
כזכור, תוקף זה הוא תנאי הכרחי, אך לא מספיק להסקה סיבתית. זהו רק אחד מ-3 תנאים:

• קיום קשר בין המשתנה הב"ת לתלוי.
• הפעלת המשתנה הב"ת לפני התלוי.
• הפרכת הסברים חלופיים.

לחוקר 2 סיכויים לטעות בקשר לתוקף זה:

• סיכוי למצוא קשר בניסוי, שלמעשה אינו קיים במציאות. (טעות מס' 1-   α).
• סיכוי לא למצוא קשר בניסוי, אך למעשה קיים במציאות (טעות מס' 2-  β).

איומים סטטיסטיים הגורמים לעשיית טעות 1 או 2:

1. עצמה סטטיסטית
   עוצמת הניסוי הוא הסיכוי לגלות את האפקט, אם הוא אכן קיים במציאות.

זהו למעשה, הסיכוי המשלים של β- הסיכוי שלא לגלות את ההבדל, אם הוא קיים במציאות.

הקשר בין המושגים הוא כדלהלן:

• ככל ש- α גדול יותר, β קטנה יותר.
• ככל ש- β גדולה יותר, קטנה העוצמה.
• ככל ש- α גדולה יותר, קטנה β => העוצמה גדלה.

תוקף המסקנה הסטטיסטית יורדת ככול שהעוצמה יורדת. העוצמה יורדת לפי הקשרים לעיל, לדוגמה- ככל שבוחרים α קטנה יותר => βגדלה => העוצמה נחלשת => התוקף יורד.

כמו כן, עוצמת המבחן יורדת כאשר בוחרים מדגם קטן מדי,  מבחן דו"צ במקום חד צדדי או מבחן פרמטרי במקום אי פרמטרי המקביל לו.

2. בעיית מקדם הטעות
   הניסוי של אש כלל 2 קבוצות- ביקורת וניסוי, עם α של 0.05. בחזרה על הניסוי, נכללו 5 קבוצות שבכ"א גודל הרוב שונה, וכ"א הושוותה לקבוצת ביקורת. כלומר, בעוד הניסוי המקורי כלל השוואה אחת, ניסוי ההמשך כלל כמה השוואות. אבל הסיכוי לטעות מס' 1 הוא 0.05, רק אם הניסוי כולל השוואה אחת.

הסיכוי שתחול לפחות טעות אחת מסוג 1 בניסוי כולו, עולה ככל שעולה מספר ההשוואות (הרי בכל השוואה בודדת יש סיכוי לטעות). לכן, הסיכוי לטעות 1 בניסוי כולו שווה לסכום ההסתברויות לטעות מס' 1 בכל ההשוואות. למשל, אם ערכו 4 השוואות, אז α שווה ל- 0.2= 0.05x  4 => הסיכוי לטעות גדל ככל שמספר ההשוואות גדל.

כלומר, גודל האיום על התוקף תלוי לא רק ב- α גם במספר ההשוואות הנעשות בניסוי.

3. מהימנות המדדים
   אם מהימנות המדד נמוכה במובן היציבות/העקיבות הפנימית, שונות הטעויות גדלה בהכרח.

מהימנות מדד נמוכה פירושה ש:

• יש הבדלים בין נבדקים בציוניהם במדד, למרות שלמעשה הם לא נבדלים בתכונה הנמדדת.
• יש הבדלים בין 2 מדידות אצל אותו נבדק, למרות שלא חל אצלו כל שינוי.

כלומר, יש הבדלים בתוך הקבוצות, הנובעים מטעויות מדידה. ולכן קשה לגלות את האפקט.

הפתרון:

• להקפיד על מהימנות המבחנים.
• להקטין את פער הזמנים שבין המדידה הראשונה לשנייה.

4. מהימנות המניפולציה
   הדרך שבה מופעל המשתנה הב"ת עלולה להגדיל את שונות הטעויות. הנסיין עלול להתייחס אחרת לנבדקים שונים באותה קבוצה (לקרוא את ההוראות בטון שונה).

 פתרון: סטנדרטיזציה מירבית של תהליך הניסויי (המחיר של זה- עלול לפגוע בהשפעת המניפולציה על הנבדק).

5. גורמים לא רלוונטים

עלולים להגדיל את שונות הטעויות, ובכך לפגוע בתוקף (כלומר, בעוצמת האפקט שנמצא). למשל, רעשים בזמן הניסוי. כל נבדק מושפע באופן שונה מהגורמים הללו (יש נבדקים שרעש לא מפריע להם וכו'..).

פתרון:

א. מצבי ניסוי המושפעים כמה שפחות מגורמים חיצוניים (חדר שקט).

ב. מניפולציות חזקות, שמאפילות על השפעתם של גורמים אלו.

6. הטרוגניות מקרית

נבדקים נבדלים במשתנים רבים, ובין השאר במידת היותם מושפעים מהמשתנה הב"ת. זוהי שונות הטעויות הטבעית הקיימת בין אנשים.

פתרון ניתן להקטינה ע"י:

• שימוש במדגם הומוגני.
• החזקת משתנים קבועים או להפוך את השפעתם לשיטתית.

סיכום

אי אפשר לדאוג בצורה מושלמת לכל סוגי התוקף.  הקפדה על ביסוס תוקף אחד עלולה לחבל בתוקף שני.למשל, מניפולציה מדויקת של המשתנה הב"ת תעזור לתוקף המבנה, אך תפגע בתוקף המסקנה הסטט', משום שלא תהיה לה השפעה מספקת, והיא לא תבחין בין הקבוצות.
לכן יש לקבוע סדר עדיפויות:

• בכל מחקר יש לתת קדימות ראשונה לתוקף הפנימי, משום שהוא בודק אם קיים בכלל קשר סיבתי כלשהו בין המשתנים. על תוקף זה קל יחסית להגן בניסוי מעבדה. כעת יש להחליט על סדר בין שלושת התקפים הנותרים-

לחוקרים עיוניים, העוסקים במחקר אקדמי חשובים כמה דברים:

• להראות שמשתנה תצפיתי מסוים הביא לשינויים במשתנה תצפיתי אחר-  תוקף פנימי.
• להראות שמשתנה תיאורטי מסוים הביא לשינויים במשתנה תיאורטי אחר – תוקף מבנה.
• קבלת תוצאות ברורות, גם במחיר של שימוש באוכלוסיות הומוגניות. ההשערות התיאורטיות בתחומים אלו הן בד"כ אוניברסליות, ולא מפרטות את האוכלוסיה/הזמנים אליהם רוצים להכליל. אם כן, חוקר מוכן להקריב את התוקף החיצוני לטובת תוקף המסקנה הסטטיסטית.
• תוקף המבנה של הסיבה (המשתנה הב"ת) חשוב להם יותר מתוקף המבנה של התוצאה (המשתנה התלוי). חשוב להם יותר לדעת מה בדיוק גרם לשינוי במשתנה התלוי. לכן, למרות שקל לבחון את השינוי במשתנה התלוי בכמה אופנים עיקר תשומת לבם נתונה למשתנים הב"ת.

סדר העדיפויות של החוקר העיוני, אם כן, הוא:

• תוקף פנימי.
• תוקף מבנה של הסיבה (המשתנה הב"ת). יותר חשוב מהו הגורם לסיבה ולא מה קרה.
• תוקף המסקנה הסטטיסטית.
• תוקף חיצוני.

לחוקר היישומי יש סדר עדיפויות אחר.

מנהל שהזמין פסיכולוג תעשייתי כדי לברר מדוע ירדה תפוקת עובדיו, לא מעוניין בתיאוריה כללית על הבעיה וסיבותיה.

הוא רוצה ש:

• החוקר יבין את הבעיה הספציפית לשמה הוזמן.
• יגדיר את המשתנה התלוי – ולכן, כאן תוקף המבנה של התוצאה חשוב יותר מתוקף המבנה של הסיבה.
• יאתר את גורמיה.

מחקר זה צריך להיעשות באוכלוסיה עליה מעוניינים להכליל ולכן סדר העדיפויות יהיה:

• תוקף פנימי
• תוקף חיצוני– יכולת ההכללה חשובה מאוד.
• תוקף המבנה של התוצאה– חשוב מאוד שההגדרה האופרציונלית של "ירידת התפוקה" אכן תמצה משתנה זה. אם לא כן, הממצאים שיתגלו במשתנה התלוי לא יתארו את הבעיה אליה התכוון המנהל.
• תוקף המסקנה הסטטיסטית
• תוקף המבנה של הסיבה– זה הכי פחות חשוב. המנהל מעוניין בהגדרה האופר' של המשתנה שפגע בתפוקה.

לא כל כך משנה לו מהו המשתנה התיאורטי באמת, כל עוד ההגדרה האופ' מצביעה לו מה צריך לעשות כדי לשפר את התפוקה.

חזרה אל: פסיכולוגיה ניסויית \ שיטות מחקר