שיטות מחקר -סיכומים: מדידה

מדידה -הגדרה: הצגת תכונות בעזרת מספרים. איך עושים זאת?

n      נותנים ערך של משתנה לכל תצפית. דוגמא: מספר עיתונים שקורא כל אדם, שם העיתון האהוב על כל קורא, מס' העמודים בגיליון של עיתון.

n      מדידה של משתנים מופשטים–  לא ישירה אלא קירוב אופטימאלי. דוגמא: אינטליגנציה – מבחני IQ, דימוי גברים בפרסומת הישראלית – תפקידי הגבריות,תכונות הגבריות.

סוגי משתנים מבחינת מדידה

n      סוגי משתנים: רציף, בדיד

n      רמות מדידה: שמי, סדר, רווח, מנה

חשיבות והשלכות של מדידה

n      חשיבות ליכולת לביצוע פרוצדורות סטטיסטיות.

n      תמיד אפשר לרדת לרמה נמוכה יותר. כלומר, לקבץ מספר שעות צפייה לצופים קלים/כבדים.

n      אי אפשר לעלות לרמה גבוהה יותר. כלומר, מקל/כבד אי אפשר להסיק על מס' שעות.

הערכת המדידה

n      דיוק – מה יחידות המידה?

n      מהימנות – האם המדד אמין ויציב.

n      תוקף – האם המדד משקף היטב את המשתנה.

דיוק

תלוי ביחידות מידה – כמה אתה אוהב את התוכנית?  מאוד – בינוני – מעט – כלל לא

כלל לא  9-8-7-6-5-4-3-2-1-0- 10 מאוד

חשוב שתהיה התאמה בין מידת הדיוק במדידה לתופעה (שוב: הבחנה ומיצוי).

דוגמא:  מדידה של הנאה מתוכנית טלוויזיה ב: נהניתי/ לא נהניתי – לא ממצה את השונות.

דוגמא: מדידה של אפקטיביות המצגת בסולם של 1 עד 10 – מבקש הבחנות לא מציאותיות.

מהימנות המדידה

מהימנות מתייחסת לעד כמה כלי המדידה שהשתמשו בו מספק תוצאות יציבות ואמינות, עד כמה אפשר לסמוך עליו שהוא מודד משהו אמיתי וקבוע.

הציון הנצפה (Xo) = הציון האמיתי (Xt) + טעות (Xe)

טעות קבועה: משפיעה באופן קבוע על הנבדקים ולכן  השונות שלה היא אפס.

טעות מקרית: משפיעה באופן שונה על כל נבדק ולכן השונות שלה אינה אפס.

n      מקדם המהימנות יכול לקבל ערכים  הנעים בין 0 ל- 1.

מהימנות מדברת על יציבות כלי המדידה היא שואלת את השאלה: האם התוצאה עיקבית? באותם תנאים.  ולעומת זאת, תוקף מדבר על האם מדדתי את מה שרציתי למדוד. לא ניתן לדבר על תוקף על כלי שאין לו מהימנות, רק ברגע שיש לי מהימנות אני יכולה לבדוק את התוקף. לדוגמא דו"ח מהירות, אם האקדח מהירות תמיד מעלה את המהירות ב10 קמ"ש אז הוא מהימן, אבל הוא לא תקף בגלל שהתוצאה שרציתי לראות- נהגתי 100 קמ"ש והוא הראה 110 קמ"ש.

בעת מדידה של משתנים (תיאורטיים במיוחד) יש לקחת בחשבון שתי סוגיות העוסקות במדידה:

מהימנות כלי המדידה– ישנם שלוש דרכים מרכזיות לבדיקת מהימנות:

דרך נוספת לבדיקת מדידה היא שיפוט סובייקטיבי.

הגדרות אופרציונליות לבדיקת מהימנות:

1. בחינה חוזרת / שתי העברות – test-retest:  מהימנות כיציבות

השיטה: מדד הבודק האם המדידה יציבה לאורך זמן. מבצעים את אותה מדידה על אותם נבדקים ב- 2 פעמים נפרדות ומחשבים מתאם (פירסון או ספירמן, תלוי בסולם) בין הציונים שהתקבלו בכל מדידה.

ההנחה: ככל שהמתאם גבוה יותר, החלק האמיתי/ הקבוע בציונים הנצפים גדול יותר וחלקה של הטעות קטן יותר.

חסרונות: (1) להעברה הראשונה של המבחן עלולה להיות השפעה על ההעברה השנייה, יכול להתקבל אומדן מופרז של המהימנות.  (2) ייתכן וחל שינוי בתכונה הנבדקת במהלך הזמן – אומדן חסר של המהימנות.

1. 2. מבחן חוזר עם נוסחים מקבילים: מהימנות כאקוויוולנטיות.

השיטה: בוחנים שני נוסחים מקבילים של כלי המדידה, מעבירים את שני הנוסחים לאותה אוכלוסייה. המתאם מחושב בין שתי ההעברות. מתאם זה הוצע כדי להתגבר על חסרונות השיטה הקודמת. אני שואלת את אותו רעיון בניסוח אחר וע"י כך בודקים את המהימנות של הערכים שהתקבלו.

ההנחה: ככל שהמתאם גבוה יותר, החלק האמיתי/ הקבוע בציונים הנצפים גדול יותר וחלקה של הטעות קטן יותר.

יתרונות: (1) פחות השפעה  להעברה הראשונה על השנייה, (2) אין צורך לחכות בין 2 ההעברות ולכן קטן הסיכוי שהתכונה תשתנה. שואלים את הנחקר שאלות שונות וניתן למצוא טעויות קבועות. חסרון: בעיית ניסוח- קיים קושי לבנות נוסחים מקבילים בעלי תכונות סטטיסטיות זהות פחות או יותר. שבונים ניסוחים שונים תמיד יש הבדל בניהם, הם לא לגמרי מקבילים וזהים כיוון שאין מילים ומשפטים זהים.

1. 3. מהימנות כעקיבות פנימית

ההנחה: מבחן הוא מדגם של פריטים, שכל אחד מהם וכולם יחד מיועדים למדוד את אותו משתנה. אם כל הפריטים מודדים את אותו משתנה, נצפה למתאמים גבוהים ביניהם. הנחה זו קובעת תנאי – על המבחן לבדוק תכונה אחת בלבד. לכל משתנה יש תחומים שדומים אחד לשני וצריך להיות בניהם היגיון, קשר ומתאם בין הדברים.

יתרון: ניתן להסתפק בהעברה חד-פעמית ולכן לא מתעוררות הבעיות הנובעות מהשפעת העברת המבחן הראשונה על השנייה. אני לא חייבת לחזור לאנשים, הבעיות של המבחן החוזר לא מתעוררות. בשאלון שלי אני מכניסה 2 היבטים שכל אחד מהם בודק משהו שהוא מקביל בצורות שונות.

השיטה:

n שיטת מבחן חצוי – split half : שני חצאים של אותו מדד

n      מקדם אלפא של קרונבאך: האם כל חלקי המדד מתואמים אחד עם השני

& בדיקת תכונה אחת: רמת חרדה בעת נפילת קאסם

באיזו מידה אתה חש לא בטוח? באיזו מידה אתה חש חרד? באיזו מידה אתה חש פחד? באיזו מידה אתה חש משותק? באיזו מידה אתה חש לא מוגן? באיזו  מידה  אתה חש בהלה?

1. 4. מהימנות בין שופטים:

ההנחה: לעיתים לא ניתן למדוד משתנה במבחן /מספר ציון אובייקטיבי וחד משמעי ויש להשתמש בשופטים הצופים ישירות על ההתנהגות המבוקשת ,כך שתגובות הנבדקים עוברות עיבוד הכרוך בשיפוט אנושי (של הצופה) ורק לאחר מכן ניתן ציון על סקלה כלשהי. במצב כזה תיתכן השפעה רבה של השופט  על הציון.

השיטה: לפחות שני שופטים שונים מדרגים את האובייקט ומחשבים ביניהם מתאם. ככל שהמתאם בני 2 השופטים גבוהה יותר הערך בניהם מהימן והדעה האישית של השופט לא באה לידי ביטוי.

בחירת מדד המהימנות

מבחן מהירותנוסחים מקבילים – מהימנות כאקווילנטיותמבחן הטרוגני

מבחן מהירותמהימנות כעקיבות פנימית

(מבחן חצוי, קרונבאך)מבחן הומוגני

מבחן כושר

1. 1. מבחן הומוגני או הטרוגני: ממבחן הומוגני מצפים שיהיה מהימן במובן של עקיבות

פנימית; ממבחן הטרוגני מצפים שיהיה מהימן במובן של יציבות.

2. מבחן מהירות (מוגבל בזמן) או מבחן כושר (לא מוגבל בזמן): במבחני מהירות אין טעם לחשב

עקיבות פנימית, כיוון שהמתאם בין הפריטים הראשונים לאחרונים נמוך בגלל גורם לחץ הזמן.

לכן במבחני מהירות מדדי המהימנות הרלוונטיים הם יציבות ואקוויוולנטיות.

תוקף המדידה

תוקפה של מדידה היא המידה שבה היא מודדת את מה שהיא אמורה למדוד. במילים אחרות, תוקפו של משתנה תצפיתי הוא המידה שבה הוא מודד את מה שהוא אמור למדוד – את המשתנה התיאורטי (כלומר, מידת ההלימה בין המשתנה התצפיתי למשתנה התיאורטי).

n      ההגדרה הנ"ל היא תיאורטית של תוקף, כדי שנוכל למדוד אותו פותחו מספר הגדרות אופרציונליות לתוקף.

1/תוקף תוכן, תוקף נראה

באיזו מידה המדד מייצג את כל עולם התוכן של המושג? עד כמה הכלי מייצג את עולם התוכן.

למשל, עד כמה בחינת סוף הקורס מייצגת את תכני הקורס?

n      בדיקת תוקף התוכן מבוססת בעיקר על הגיון. מכשיר המדידה נשפט על פי ההתרשמות מן המידה בה הוא מייצג את עולם התוכן הרצוי.

n      כדי להבטיח תוכן תוקף יש להקפיד על: ניתוח טוב של עולם התוכן בו מעוניינים, אוסף מייצג של פריטים מעולם תוכן זה.

תוקף תלוי קריטריון – תוקף ניבוי

אמידת משתנה אחד במטרה לאמוד, לנבא או לשחזר (תלוי בסוג הקריטריון)  משתנה אחר. עד כמה הכלי מוצלח בניבוי. הכלי שאת התוקף שלו רוצים למדוד נקרא המנבא, ואילו הקריטריון זהו הכלי המנובא. מחשבים את הקשר בין ציוני המשתנה הנמדד (המנבא) לציוני המשתנה שרוצים לנבא. ככל שהקשר גבוה יותר, כך גם התוקף גבוה יותר.

תוקף ניבוי יכול להתייחס: – לאירוע בעבר, למשל,מבחן למבוגרים המנסה לשחזר אירועים בילדות: תוקף לאחר מעשה– הקריטריון נמדד לפני המשתנה המנבא (עבר).

– לאירוע בהווה, למשל, מבחן או מכשיר המאבחן למי יש פגיעה מוחית: תוקף מקביל – הקריטריון והמשתנה המנבא נמדדים בו זמנית (הווה).

– לאירוע עתידי, למשל, מבחן כניסה לאוניברסיטה המנסה לנבא הצלחה בלימודים: תוקף ניבוי – הקריטריון נמדד לאחר מדידת המשתנה המנבא (עתיד).

תוקף מבנה

הערכה של המידה בה כלי המדידה מודד את המבנה ההיפותטי, כלומר, עד כמה קיימת הלימה בין ההגדרה האופרציונלית לבין המבנה ההיפותטי. למשל, עד כמה שאלון החרדה שחיברתי אכן מודד את משתנה חרדה? עד כמה ההגדרה כוללת את כל ההיבטים של המשתנה

הבדיקה נעשית בעזרת התייחסות לשתי שאלות:

n      תוקף מתכנס: באיזו מידה המשתנה התצפיתי ממצה את מרכיבי המשתנה התיאורטי?

הכוונה לעדויות ממקורות שונים שנאספו בדרכים שונות (כלומר שיטות מדידה שונות), כאשר הם נמצאים במתאם גבוה אחד עם השני, הם מצביעים על משמעות זהה של המבנה.

n      תוקף מבחין: תוקף מבחין: באיזו מידה המשתנה התציפיתי בודק רק את מרכיבי המשתנה

התיאורטי ולא היבטים אחרים שאינם רלבנטיים?

ביצוע הבחנה אמפירית בין המבנה הנמדד למבנים אחרים. כלומר מעבר למיצוי יש להראות שהמכשיר אינו מודד משתנים אחרים. מתאם נמוך בין שני מכשירי מדידה המודדים מבנים שונים יצביעו על הבחנה בין המשתנים, ולכן על תוקף מבחין למשתנה הנמדד. ניתן למדוד תוקף מבחין בעזרת 2 שיטות זהות שבודקות משתנים שונים, או בעזרת שתי שיטות שונות שבודקות משתנים שונים.

דוגמא: בדיקת שאלון חרדה בעת נפילת קאסם:

תוקף מתכנס: מידת החרדה של האדם תיבדק בעזרת שאלון המחקר ותצפית על האדם בעת נפילת קאסם.

תוקף מבחין:  נרצה להוכיח כי השאלון מודד חרדה בעת נפילת קאסם, ולא חרדה מבעלי חיים.

n      תוקף מתכנס גבוה מחייב מתאמים גבוהים (בין שיטות מדידה שונות) ואילו תוקף מבחין גבוה מחייב מתאמים נמוכים (בין מדידות של משתנים תיאורטיים שונים).

מתי נשתמש בסוגי התקפים?

תוקף תוכן: קיימת הסכמה על עולם התוכן של המשתנה התיאורטי. מתאים למדידת ביצוע באופן ישיר (מבחני הישג)

תוקף ניבוי: אפשרי כאשר קיים קריטריון ברור וחד משמעי, שלעומתו אפשר לתקף את מכשיר המדידה. קריטריון כזה קיים כאשר למשתנה הנמדד יש הגדרה אופרציונלית חד משמעית, שממצה את משמעות המשתנה התיאורטי . למשל מדידת התוקף של פסיכומטרי ע"י ציוני סוף תואר.

תוקף מבנה: לרבים מהמשתנים התיאורטיים במדעי החברה אין הגדרה אופרציונלית חד משמעית וממצה, ולא תמיד ישנה הסכמה לגבי עולם התוכן או לגבי ייצוגו. נשתמש להשתמש בתוקף מבנה בכל אחד המקרים בהם רוצים לתקף מכשיר מדידה, שנועד למדוד משתנה תיאורטי (מבנה הוא מונח נרדף למשתנה תיאורטי).

סיכום: השוואה בין תוקף ומהימנות

n      הקריטריון לקביעת מהימנות של מדד :– <הפעלה חוזרת של המדד עצמו, כלומר  קריטריון פנימי

n הקריטריון לקביעת תוקף של מדד  —> תמיד קריטריון חיצוני. משווים בין התוצאות שנתן המדד לתוצאות שנתנו מדדים אחרים שאינם חלק ממנו, ואינם תלויים בו.

n      מהימנות היא חסם עליון לתוקף – המהימנות היא תנאי הכרחי אך לא מספיק לתוקף. לא יכול להיות שכלי יהיה תקף אם אינו מהימן.

n      מהימנות בהכרח יותר גדולה מהתוקף – מתאם בין X לבין עצמו תמיד גדול או שווה למתאם בין X   למשהו אחר.

n      אין משמעות למהימנות ותוקף באופן כללי – יש כמה סוגים של מדדי מהימנות ותיקוף, ובעת דיווח יש לדווח בדיוק איזה תוקף נבדק (כלי עם תוקף תוכן, לא בהכרח  הוא בעל תוקף ניבוי)

n      תוקף אינו לנצח – יש מבחנים שצריך לתקף שוב ושוב בחלוף הזמן (הקריטריון יכול להשתנות  : פעם הדפסה במכונת כתיבה, היום מעבד תמלילים).

שיטות מחקר – סיכומים