מערכי ניסוי אמיתיים – סיכום

מערכי ניסוי אמיתיים מומלצים, משום שהם עונים על כל איום אפשרי על התוקף הפנימי.

מושתתים על 2 עקרונות:

• הקצאה מקרית.
• שליטה בעיתוי הפעלת המניפולציה, בבחירת ממדי המשתנה התלוי, בזמן המדידה ובאופייה.

עקרונות אלו מבחינים בין המערכים האמיתיים לבין מערכי קדם- הניסוי ודמויי הניסוי.

מערך "לפני- אחרי" עם קב' ביקורת

במערך זה יש 2 יתרונות מרכזיים על הקודמים:

• הקצאה רנדומלית לקב הניסוי והביקורת.
• הקבוצות נמדדו במשתנה התלוי לפני המניפולציה, כך שנוצר בסיס להשוואה ביניהן.

קידוד:               R         1O       X         2O

                        R         3O                   4O

דוגמא: נחזור למנהל- בכדי לבדוק את השיטה החדשה לפי מערך זה, עליו:

1. לדגום קבוצת תלמידים.
2. לחלקם מקרית ל-2 קבוצות.
3. למדוד את הישגיהן.
4. ללמד אחת לפי התוכנית הישנה, ואת השנייה לפי התוכנית החדשה.
5. למדוד שוב את הישגי הקבוצות.

במערך זה יש בקרה כפולה על ההבדלים בין קב' הניסוי לביקורת:

• הנבדקים הוקצו רנדומאלית לקבוצות (ולכן יש להניח שהן שוות)
• ניתן לבדוק באופן מעשי, אם אכן היו שוות במשתנה התלוי לפני הניסוי.
• מעבר לכך- יעילות המניפולציה נמדדת ביתר דיוק בעזרת השוואה בין הפער 1O- 2O לעומת 3O- 4O.

מערך זה מאפשר להתגבר על כל האיומים על התוקף הפנימי:

• היסטוריה– שתי הקבוצות נמדדות בו זמנית במשתנה התלוי לפני הפעלת המניפולציה וגם אחריה. כל מאורע שיתרחש בין המדידה שלפני לבין המדידה שאחרי, ישפיע באותה מידה על שתיהן. לכן, אין בו הסבר חלופי להבדלים שנמצאו.

הבעיה היא לגבי ההיסטוריה המקומית–

א. כאשר אי אפשר לבצע את המדידות בקרב 2 הקבוצות בו זמנית, כל מאורע שקורה בקב' אחת ולא בשנייה, עלול לשמש הסבר חלופי.

ב. מצד שני, כאשר הניסוי נערך בו זמנית, אך ל-2 הקבוצות בנפרד=> חייבים להשתמש ב-2 נסיינים, ואז מסתכנים בהשפעת הנסיין הפוגעת בתוקף המבנה.

פתרון: רנדומניזציה של כל תנאי הניסוי, הופכים את גורמי הטעות השיטתית לגורמי טעות מקרית, ב-2 דרכים אפשריות:

א. ריכוז כל הנחקרים בחדר אחד, אך מתן דפי הוראות שונים. דרך זו מוגבלת, כמובן, רק לניסויים שבהם המניפולציה נעשית ע"י דפים כתובים.

ב. לערוך את הבדיקה המוקדמת (המדידה שלפני) לכל נבדק בנפרד, ואז להקצותו רנדומלית לקב' הניסוי או הביקורת.

אם הניסוי מחייב בדיקה בקבוצות, יש להתייחס לכל קב' כאל נבדק אחד, היות שלכל קבוצה יש היסטוריה פנימית משלה. במקרה זה, הקבוצות יוקצו בסדר רנדומאלי לניסוי וביקורת.

• בשילה ומדידה– מבוקרות ע"י ההקצאה הרנדומאלית לקבוצות. הבדיקה שלפני הטיפול נערכת בשתיהן באותו זמן, כך שלשתיהן ניתנת הזדמנות שווה "להבשיל", ובאותה מידה.

• מכשור– פותרים בעיה זו כמו בעיית ההיסטוריה המקומית:
  • אם משתמשים במבחנים כתובים, המחולקים רנדומאלית בין נבדקי קב' הניסוי והביקורת, הרי שכל הנבדקים נבחנים באותו זמן ובאותו אופן.
  • אם כל נבדק או קב' נבדקים נחקרים בנפרד, הרנדומניזציה של סדר הבדיקה בין קב' הניסוי והביקורת מבטיחה שוויון בין שתיהן.
  • אם אפשר להשיג כמה מעריכים, אפשר לחלקם רנדומלית בין הקבוצות, אך המעריך חייב להיות עיוור לתנאי הניסוי- כלומר, אסור לו לדעת לאיזה תנאי ניסויי שייכים הנבדקים.

• רגרסיה– אם 2 הקבוצות נדגמו מאותה אוכלוסייה קיצונית, ואם ההקצאה היתה רנדומלית- אז הרגרסיה תשפיע באותו אופן על שתיהן. אפשר גם לבדוק את אחוז מקבלי הציונים הגובהים והנמוכים ולראות אם חל באחת הקבוצות שינוי יוצא דופן שלא חל בשנייה.

• ברירה– הדרך היחידה להבטיח שוויון בין הקבוצות היא ע"י הקצאה אקראית לקבוצות .חשוב: התאמה אינה תחליף להקצאה רנדומאלית.

אפשר רק להשתמש בה כאמצעי עזר להשוואת 2 הקבוצות או להקטנת שונות הטעויות:

• אפשר להתאים את הנבדקים לפי כמה ממדים, ואח"כ להקצות את בני הזוג באופן רנדומאלי לקבוצות.
• אפשר לבחור את המשתנה שבו רוצים להשוות בין הנבדקים ב-2 הקבוצות, ולהשתמש בו כמשתנה ב"ת נוסף. בדרך זו, הופכים את השונות המקרית שיצר משתנה זה לשונות שיטתית ותורמת לתקוף הסטטיסטי.

• נשירה– השאלה המרכזית היא, האם הנשירה מקרית או שיטתית.

למשל, בניסוי משווים שתי שיטות הוראה- אחת מחייבת נוכחות בכיתה, ואחת (קב' הביקורת)- לא.

אם נבדקים נשרו מהקב' הראשונה בלבד, ייתכן שאלו הם הנבדקים ששיטה זו לא מתאימה להם, ובלאו הכי לא היו מצליחים בה.

כאשר משווים בין ציוני הנבדקים שנותרו בקב' הניסוי לכל נבדקי קב' הביקורת- מתקבל בקב' הניסוי ציון גבוה יותר בגלל אופי הנבדקים שנשרו.

המערך הנוכחי לא מונע איום זה, אך מאפשר לבדוק אם הנשירה היא שיטתית או לא, ע"י הכללה בניתוח תוצאות קב' הניסוי גם את ציוני הבדיקה המוקדמת של הנושרים- כלומר, לנושרים יהיה אותו ציון ב-2 המדידות.

כך אמנם מחלישים את האפקט הניסויי, אך  נמנעים מטעות הדגימה.

הבעיה העיקרית במערך "לפני- אחרי" עם קב' ביקורת הוא התוקף החיצוני–

וליתר דיוק, האינטראקציה בין המדידה למשתנה הב"ת:

כל הנבדקים במערך עברו בדיקה מוקדמת, ולכן ייתכן שאי אפשר להכליל את הממצאים על נבדקים שלא עברו בדיקה כזו.

ברור, שההבדלים בין הקבוצות לא נגרמו רק מהבדיקה המוקדמת, משום שגם קב' הביקורת עברה בדיקה זו. אולם, אי אפשר להיות בטוחים שההבדלים נגרמו רק בידי המשתנה הב"ת.

סביר, שהמניפולציה יחד עם הבדיקה המוקדמת השפיעו יחד על המשתנה התלוי.

הבדיקה המוקדמת יכולה להשפיע בכמה דרכים, ונדגים זאת דרך הסרט על האנטישמיות:

• היא גרמה לנבדקים להיות מודעים לעמדותיהם, כך שהשפעת הסרט גברה.
• היא עוררה בנבדקים התגוננות ביחס לעמדותיהם, והשפעת הסרט פחתה.
• היא הבהירה להם את משמעות הסרט, משום שתשומת ליבם הופנתה לנושא.
• הבדיקה המוקדמת והטיפול לאחריה גילו לנבדקים שהם עומדים להשתתף בניסוי שנועד לשנות את עמדותיהם.

בכל המקרים שתוארו התנהגות הצופים מושפעת מהשילוב בין הסרט למדידה, כך שקשה לדעת אם הטיפול לבדו גרם לתוצאה. מחקרים מצאו שהבדיקה המוקדמת בד"כ מקטינה את אפקט הניסוי, כלומר, עלולה לגרום לחוקר לדחות השערה נכונה. הדרך הטובה ביותר לפתור זאת היא לכלול קב' ביקורת שבה לא תיעשה המדידה שלפני, פתרון כזה יוצר את מערך המחקר עם 4 הקבוצות.

*המערך הזה הוא אידיאלי מבחינת תוקף פנימי, אך הוא סובל מבעיות של תוקף חיצוני.

המערך הבא מתמודד עם בעיה זו-

מערך 4 הקבוצות של סולומון

קידוד:

קבוצה א':         R         1O       X         2O

קבוצה ב':         R         3O                   4O

קבוצה ג':          R                     X         5O

קבוצה ד':         R                                 6O

ניתן לראות שמערך 4 הקבוצות כולל את המערך הקודם ב-2 השורות הראשונות, ובנוסף יש את 2 קב' -ניסוי וביקורת, שלא עברו בדיקה מוקדמת, אלא רק בדיקה אחרי.

מערך זה מאפשר לבדוק את השפעת האינטראקציה בין המדידה לטיפול הניסויי, ואם אפשר להכליל את הממצאים על אוכלוסיות שלא עברו מדידה מוקדמת.

4 מקורות יכולים להשפיע על ציוני נבדקי 4 הקבוצות בבדיקה "שאחרי"-

• ההבדלים בין קב' א' לקב' ב' במדידה שאחרי (4O- 2O) מבטאים 2 דברים:
  1. השפעת המניפולציה.
  2. השפעת האינטראקציה בין הבדיקה המוקדמת לבין הטיפול.

אלו למעשה התוצאות של מערך המחקר הקודם.

• ציוני קב' ג' במדידה שאחרי (5O) משקפים רק את

1. השפעת המניפולציה.
2. השפעת הזמן (השפעות חיצוניות כמו היסטוריה, בשילה וכו').

לכן, אם נפחית את ציוני קבוצות ב' ו-ג' (4O ו-5O) מציוני קבוצה א' (2O), נקבל את גודל השפעת האינטראקציה.

• ציוני קב' ד' (6O) משקפים רק את השפעת הזמן שחלף-
  אם נפחית את ציוני קבוצה ד' מציוני קב' ג' (6O- 5O), נקבל אומדן להשפעת המניפולציה בלבד.

אם ההפרשים 5O– 2O (השפעת הבדיקה שלפני + האינטראקציה) ו- 6O– 4O (השפעת הבדיקה שלפני) שווים לאפס, אפשר לומר שהבדיקה המוקדמת והאינטראקציה בין הבדיקה לטיפול לא משפיעות על התוצאות.

• מערך זה הוא מצוין, אך מסובך ויקר. מכיוון שהוא לא מוסיף לתוקף הפנימי, מומלץ להשתמש בו רק במקרים בהם חשוב במיוחד להכליל את הממצאים (תוקף חיצוני).
• מערך סולומון תורם תרומה נוספת לעניין ההכללה, משהתקבל שאין אינטראקציה בין טיפול ניסוי מסויים למדידה יוכל חוקר להפעיל את שאר הניסויים שלו במתקונות של לפני-אחרי עם קבוצת ביקרות.

מערך "אחרי" בלבד עם קב' ביקורת

זהו המערך היחיד במערכים האמיתיים, שלא נערכות בו מדידות לפני המניפולציה. הבטחת השוויון בין הקב' מבוססת רק על רנדומיזציה.

יש חוקרים שמתקשים לתת אמון בעקרון הרנדומניזציה בלבד, אולם הבדיקה המוקדמת היא לעתים מותרות, גורמת לשינויים עוד לפני הפעלת המניפולציה ולעתים לא ניתנת לביצוע, לכן במקרים רבים אפשר לוותר עליה.

(כמו אם רוצים לבדוק הצגת נושא לימוד חדש על מוטיבציה, לא ניתן להציג את הנושא במדידה מוקדמת, כמו כן אם רוצים לשמור על אלמוניות הנבדקים, ביצוע בדיקה אחת אחרי הטיפול היא הפתרון, כי בדיקה חוזרת מחייבת ויתור מסוים על אלמוניות).

קידוד:               R         X         1O

                        R                     2O

המערך זהה ל-2 הקבוצות האחרונות במערך 4 הקבוצות של סלומון. מכאן שגם מערך זה מטפל בבעיית האינטראקציה, אולם אינו מאפשר למדוד את השפעתה.  היתרון- זהו מערך חסכוני ומומלץ ביותר למי שאין לו חששות מבוססים לגבי העדר שוויון בין קבוצות למרות ההקצאה הרנדומלית.

חזרה אל: פסיכולוגיה ניסויית \ שיטות מחקר