מערכים דמויי ניסוי – סיכום

מערכים דמויי ניסוי

מחקר הערכה– מחקר שדה סיבתי. מחקר הבודק את השפעת שינוי שנעשה בסביבה הטבעית, לפי מדדים שנקבעו מראש ומעניינים את חוקר.

ברור, שסביבה זו אינה סטרילית: החוקר מתקשה לפקח על הסברים חלופיים. החוקר לא תמיד יכול לשנות את סדרי העבודה בארגון כדי לבצע הקצאה רנדומאלית/מניפולציה.

מערכים דמויי ניסוי נועדו לאפשר הסקה סיבתית במצבים בהם:

• החוקר לא שולט בסדר הזמנים– זמן מתן המניפולציה.
• החוקר לא שולט במדגמי הנבדקים – לא יכול לבצע הקצאה רנדומאלית.

שימו לב: השם "דמויי ניסוי" לא מעיד על רמה נמוכה של ניסוי, אפשר להגיע למסקנות סיבתיות תקפות גם במערכים כאלו, כל עוד החוקר מודע לאיומים על התוקף, ונוקט אמצעי בקרה.

סדרת בדיקות "לפני" ו"אחרי" ללא קב' ביקורת

כל אדם העומד בראש ארגון, מעוניין לעתים לשנות את שיטות העבודה או התגמול.

אם אין לו קב' ביקורת, הדבר היחיד שהוא יכול לעשות הוא שימוש בקב' ניסוי אחת– ומדידתה מספר פעמים לפני המניפולציה ומספר פעמים אחריה.

קידוד:               1O       2O       3O       4O       X         5O       6O       7O       8O

ההנחה היא, שאם לא היו מפעילים את המניפולציה (שינוי שיטת ההוראה), לא היה הבדל בין המדידות השונות (1O עד 8O). אם לא יימצא הבדל בין המדידות 1O, 2O, 3O, 4O וגם לא בין המדידות 5O, 6O, 7O, 8O, אבל כן יתקבל הבדל מובהק בין 2 קבוצות המדידות- משמע, שההבדל נובע מהמניפולציה.

חסרון המערך:

1. היסטוריה– ייתכן שאירוע, שהתרחש במקביל ל- X, גרם להבדל. איום זה חמור, כשהנבדקים חשופים לגירויים רבים.

לדוגמה- אם רוצים לבדוק השפעת תוכנית לימודים על עמדות, יש לדעת שהנבדקים חשופים יום יום להשפעות נוספות חוץ מהשפעת התוכנית. לעומת זאת, יש מחקרים שלא מאוד מושפעים מגורמים חיצוניים- למשל בבדיקת השפעת תרופה על זיכרון, איום זה לא מרכזי, כי זיכרון לא נתון כ"כ להשפעות חיצוניות.

פתרון: המדידות החוזרות נעשות לאורך זמן לפני הטיפול ואחריו, מאפשרות לשלוט באיום זה.

2. המיכשור– שינוי בכיול כלי המדידה מבדיקה אחת לשנייה עלול להיות הסבר חלופי. אם למשל, הבוחנים מודעים להשערות המחקר, זה עלול לסלף את שיפוטם. בכל מקרה, לעולם אין להחליף את כלי המדידה במקביל להפעלת המניפולציה.

לדוגמה – אין להחליף את מדדי הערכת העמדות כלפי נושא מסוים לאחר סיום הוראת התוכנית (X) לצורך הבדיקות שלאחר הטיפול, גם אם החוקר לא מרוצה מהמדדים בהם השתמש לפני ההוראה.

3. 3. איומים על התוקף החיצוני-
   • אינטראקציה בין ברירה לטיפול–
   • אינטראקציה בין מדידה לטיפול– המדידות החוזרות אינן חלק ממה שהקבוצה עוברת בד"כ ונעשות רק לצורך הניסוי.

המערך מתמודד עם בעיות של:
1. בשילה- אם אין הבדל בין מדידות 1-4  וגם לא בין מדידות 5-8 אזי אין תהליך בשילה.

2. רגרסיה לממוצע- אם אין אפקט כזה לאורך זמן ממידה למדידה אין סיבה להניח השפעה של אפקט זה דווקא בין 4 ל 5.
3. ברירה- יש קבוצה אחת לכן זה לא רלוונטי

למרות הבעיות, מערך זה מומלץ כאשר אין קבוצת ביקורת.

מערך "לפני- אחרי" + קב' ביקורת לא זהה

במערך זה החוקר יכול להשיג קבוצת ביקורת, אך לא יכול לבצע הקצאה מקרית.

קידוד:               1O       X         2O

                        ———————

3O                   4O

מערך זה דומה למערך האמיתי "לפני- אחרי"+ קב' ביקורת, בהבדל אחד: פה אין הקצאה מקרית.

במערך "לפני- אחרי" עם קב' ביקורת אפשר להניח, ש-2 הקבוצות זהות משום שהנבדקים נדגמו מאותה אוכלוסיה, ורק אז הוקצו מקרית לקבוצות.

נשתמש במערך הנוכחי, כאשר אין אפשרות לעשות זאת.

לדוגמה- אם מורה מעוניין להשוות בין שיטת לימוד שנלמדת בת"א לבין שיטה אחרת הנלמדת באילת, אין לו אפשרות לחלק את הנבדקים מקרית.

יתרונות:

1. היסטוריה, בשילה ומדידה– כל אלו מבוקרים היטב במערך זה.

אם ההבדל בין המדידה ש"לפני" למדידה ש"אחרי" בקב' הניסוי הוא גדול מאותו הבדל בקב' הביקורת- האחראי לכך הוא הטיפול הניסויי.

2. 2. אפשר לבצע אותו מבלי שהנבדקים ידעו שהם משתתפים במחקר. במערך האמיתי, הרנדומיזציה אומרת לנבדקים שהם משתתפים בניסוי.

חסרונות:

1. 1. במחקרים מסוימים יש סכנה אחרת הקשורה לאינטראקציה בין משתנים אלו– אינטראקציה בין בשילה וברירה, ברירה והיסטוריה, ברירה ומדידה וכו'. אם לדוגמה נבדקי קב' הניסוי הם חולי נפש, וקב' הביקורת היא נורמלית, כל שינוי בקב' הניסוי עלול להתפרש כהחלמה ספונטנית.
2. 2. רגרסיה לממוצע והשפעתה על קבלת אפקט– בעיה זו מורגשת במחקרים בהם נעשתה טעות בהתאמה– בניסיון להשוות את ציוני שתי הקבוצות לפני הפעלת המניפולציה. במערך אמיתי ניתן להשתמש בהתאמה כהשלמה לרנדומיזציה, אולם בדמוי ניסוי אי אפשר והניסיון גורם הרבה פעמים לעיוות בתוצאות- יש מחקרים בהם, כדי להשוות בין הקבוצות יש לבחור קב' קיצוניות מאוד.

אם החוקר רוצה להתאים את ציוני כיתה ג' לציוני כיתה ה', עליו לבחור מכיתה ה' רק את התלמידים הנחשלים ביותר. סביר שהרגרסיה לממוצע בכיתה ה' תהיה שונה מהרגרסיה בכיתה ג', ותהווה הסבר חלופי.
לעתים הרגרסיה גורמת להבדל מלאכותי, ולעתים היא מטשטשת הבדל אמיתי–

לדוגמה, במחקר בדקו השפעת טיפול נפשי על דימוי עצמי של מטופלים. בקב' הניסוי היו אנשים שבקשו להתקבל לייעוץ, ובקב' הביקורת היו אנשים רגילים. ציוני קב' הביקורת בדימוי עצמי הותאמו לציוני קב' הניסוי כך שיצא, שבקבוצת הבריאים היו אנשים שהדימוי העצמי שלהם נמוך בצורה קיצונית. במדידה לאחר המניפולציה, הרגרסיה גרמה לציוני קב' הביקורת להתקרב לממוצע שלה- כלומר, ציוניה עלו ונוצר אצלה פער בין המדידה שלפני לבין המדידה שאחרי. גם בקב' הניסוי התקבל פער באותו כיוון, בעקבות הטיפול- כתוצאה לא התקבל הבדל בין 2 הקבוצות, למרות שהוא קיים במציאות.

שימו לב: אם בכל זאת יימצא הבדל, הרי שהרגרסיה חיזקה את תוקף הממצאים, משום שהוא התקבל למרות הרגרסיה.
המצב ההפוך הוא שהרגרסיה פועלת בכיוון הפוך להשפעת הטיפול וכך יכול להיווצר מצב שימצא הבדל מובהק למרות שבמציאות אין אפקט כזה.

פתרון לבעיית הרגרסיה: ניתן לנבא מראש את כיוונה, ובהתאם לכך לשפוט את התוצאות.

סיכום מקורות איום על התוקף הפנימי במערכי ניסוי שגויים ואמיתיים

שגויים-

1. ניתוח מקרה: היסטוריה, בשילה, ברירה, נשירה.
   2. לפני-אחרי ללא קבוצת ביקורת: היסטוריה, בשילה, מדידה, מכשור, אפשרות לרגרסיה סטטיסטית, אינטראקציות עם ברירה, איומים מבוקרים – נשירה וברירה.
   3. אחרי עם קבוצת ביקורת ללא הקצאה מקרית: ברירה, נשירה, אינטראקציות עם ברירה, אפשרות ל-בשילה, התמרמרות של קב' ביקורת, היסטוריה מקומית, השפעת הטיפול הניסויי על קבוצת הביקורת. איומים מבוקרים-היסטוריה, מדידה, מכשור, רגרסיה סטטיסטית.

אמיתיים-

1. לפני-אחרי עם קבוצת ביקורת: אפשרות ל-התמרמרות של קב' ביקורת, היסטוריה מקומית, השפעת הטיפול הניסויי על קב' הביקורת. איומים מבוקרים- היסטוריה, בשילה, מדידה, מכשור, רגרסיה סטטיסטית, ברירה, נשירה, אינטראקציות עם ברירה.
2. מערך 4 קבוצות: כמו 1
3. אחרי בלבד עם קבוצת ביקורת: כמו 1

חזרה אל: פסיכולוגיה ניסויית \ שיטות מחקר