JOKOPOST | עיתון המאמרים והבלוגים המוביל בישראל

facebook twitter linkedin

עיוותים סטטיסטיים

שיטה חדשה לתקנון ציונים

עיוותים סטטיסטיים פרופ' דורון מנשה
דצמבר 28
09:30 2016

פעמים רבות ציוניהם של סטודנטים נראים לנו גבוהים מדי או נמוכים מדי. האם יש לנהוג על פי העמדה השוללת לחלוטין התערבות בציונים, או שיש לבצע תקנון?

הנחתי הבסיסית היא שתקנון הציונים לממוצע הדרוש, צריך להתבצע מבלי שתהא התערבות משמעותית בהתפלגות הציונים (במונח זה אני מתייחס גם לפערים בין הציונים). על כן אין לאמץ את צורות התקנון המבוצעות בדרך גאוסיאנית, פורמאלית ("פעמון") או בדרך מקורבת (וזאת הן אם תקנון הציונים מתבצע "מראש" בהכוונת הבודק, והן אם בדיעבד על ציונים "גולמיים" או בכל דרך משולבת). הטעם העקרוני לכך הוא ש"נרמול" תופעה שאינה מתנהגת נורמלית יוצר עיוותים סטטיסטיים.

ציונים אוניברסיטאיים, בארץ ובעולם, אינם מתפלגים נורמלית, אפילו לא כשמדובר בבחינות רב-ברירתיות. בקריאה לנרמול הציונים כלולה במידה מסוימת טענה והיפוכה – טענה כי ציוני סטודנטים מתפלגים נורמלית, וקריאה לנרמל את הציונים משום שאלו לא התפלגו נורמלית.

בנרמול הציונים יש משום עיוות של האינפורמציה הכלולה בהם. העיוות הוא הן השוואתי בתוך הקבוצה, והן השוואתי אל מול קבוצות היפותטיות של סטודנטים אחרים.

העיוות הוא אף קרדינאלי מבחינת ערכי הציון כפי שהם נתפסים בחשיבה הרווחת בקהילייה המשפטית, כל זאת מסיבות שונות הנוגעות לרזולוציה של הבחינה (כמה תת-ניסויים/נקודות בחינה מבוצעים), הטיית בחירה של סטודנטים בקורס, קלות הקורס, קושי הבחינה וכיו"ב). נרמול של ציון סטודנט חלש יחסית בקבוצה, שקיבל למשל 80 בבחינה, לציון של עובר בקושי או נכשל הוא פשוט שגוי ולא משקף את רמת הסטודנט כפי שניתן לגזרה מן הבחינה.

בהינתן שאין לבצע התערבות משמעותית בהתפלגות הציונים, יש שתי אפשרויות תקנון: א. תקנון ליניארי בדרך של תוספת ציון זהה לכולם; ב. תקנון ליניארי בדרך של ערך משולש – ציון ממוצע מתוקנן, לחלק לציון ממוצע נוכחי, כפול ציון התלמיד.

אולם שתי האפשרויות הללו בעייתיות משני טעמים: ראשית, אין בהן רגישות מספקת לשאלה כיצד יש להעניק את ההטבה החיובית או השלילית של התקנון בין סטודנטים שונים על הסקאלה; שנית, יש בהן עיוותים פרקטיים ורעיוניים גם יחד, למשל, הכשלת סטודנט עקב תקנון שלילי, העברת סטודנט חלש מאוד עקב תקנון חיובי, ציונים מעל 100, ציונים של 100 או קרוב ל-100 באופן שאינו תואם את רמת הסטודנט כפי שניתן להסיקה מן הבחינה, ועוד.

כדי להתגבר על הקשיים הללו ברצוני להציע כעת את שיטת התקנון משמר ההתפלגות (אכנה אותה: "השיטה המשמרת" או "שיטת מנשה"). רציונל השיטה הוא ניסיון להשיב על השאלה ההיפותטית: מה היה קורה עם אותם סטודנטים, לו הבדיקה הייתה בעלת אותם אפיונים בדיוק, אולם הבחינה הייתה שונה ברמת הקושי, כך שממוצע היעד בשיטה זו היה "הממוצע הטבעי".

אתאר את שיטת התקנון בשלבים:

שלב ראשון: חיבור בחינה ובדיקת מחברות בדרך רגילה – תוך שאיפה שהציון הממוצע ללא דרישה התפלגותית כלשהי יהא בממוצע המותר. מומלץ לחלק את הבחינה לחלקים קטנים ככל שניתן באורח סביר, כדי לאתר באורח טוב יותר שונות בין סטודנטים, ככל שהיא קיימת!

שלב שני: חישוב ממוצע הבחינות. אם ממוצע הבחינות המחושב נמוך מהרף התחתון להפעלת תקנון או גבוה מהרף העליון להפעלת תקנון (למשל אם נקבע שתקנון יופעל על ממוצעים שגבוהים מ-85 או נמוכים מ-75), אז יחושב ממוצע היעד ועל פיו יחושב ההפרש בין ממוצע היעד לבין ממוצע הבחינות (להלן: "ההפרש", אשר יחושב בערך מוחלט). ממוצע היעד ייקבע כך: הרף העליון להפעלת התקנון + הרף התחתון להפעלת תקנון, לחלק ל-2. למשל, אם הרף העליון להפעלת תקנון הוא 85 והרף התחתון הוא 75 ממוצע היעד הוא 80. אם ממוצע הבחינות הוא 65 אז ההפרש יחושב כ-15.

שלב שלישי: בהנחה שממוצע היעד גבוה מממוצע הבחינות, ישמש ההפרש שחושב לקביעת סף תחתון לתקנון בחינה אינדיבידואלית בתוך הקורס. נניח לשם הדגמה שההפרש הוא 10, במקרה כזה ציוני בחינות מתחת ל-50 לא יתוקננו. הסיבה לכך היא שאין להניח שבבחינה שדרגת הקושי שלה קלה יותר, סטודנט כזה היה מצליח לקבל את מלוא הפרש משרעת הקושי. למעשה ניתן להניח שהקלה ברמה כזו לא הייתה מועילה לו כמעט.

השלב הרביעי: בהנחה שממוצע היעד נמוך מממוצע הבחינות, אין לקבוע סף עליון לתקנון. בפרט אם סטודנט קיבל 100 בבחינה קלה, אין כל אינדיקציה כי בבחינה קשה הציון הזה היה יורד. ציונים מתחת ל-100 יתוקננו מטה במקרה כזה אך לא באמצעות מנגנון סף תחתון, אלא באמצעות שיטת התקנון, ראו בשלב השישי להלן.

השלב החמישי: התקנון יבוצע כך – בהנחה שממוצע היעד גבוה מממוצע הבחינות, אזי להעלאת הציון יש להוסיף לציון את הקטן מבין השניים: א. אחוז מתוך "ההפרש", שייקבע על פי הפער מציון הנבחן עד ציון 100 (למשל ציון 90 יקבל 10 אחוז מההפרש); או ב. אחוז מתוך "ההפרש" שייקבע על פי הפער מעל הסף התחתון שנקבע. למשל אם קובעים את ציון 40 כסף התחתון אז ציון 60 הקרוב יותר ל-40 מאשר ל-100, יקבל 20 אחוז מההפרש. הטעם לכך הוא שאם הבחינה הייתה מקלה יותר, היו נהנים מכך בעיקר בעלי הציונים הבינוניים, שכן החלשים ממילא הפגינו יחסית יכולת ירודה והנאתם ההיפותטית מהבחינה הטובה הייתה כנראה בשוליים. כך גם החזקים, שממילא הצליחו להתגבר על הבחינה הקשה יותר בחלקה הגדול, וקשה להניח שהקלת הבחינה הייתה מקרבת לשלמות הציון.

השלב השישי: בהנחה שממוצע היעד נמוך מממוצע הבחינות, הורדת הציון תתבצע על ידי הורדת הקטן מבין השניים: א. או אחוז מתוך ההפרש שיחושב על פי הפער של ציון הנבחן מציון 100, לציונים הקרובים יותר ל-100 מאשר ל-60; ב. או אחוז מתוך ההפרש שיחושב על פי הפער של ציון הנבחן מ-60, לציונים הקרובים יותר ל-60 מאשר ל-100. מתקיים כאן אותו רציונל בשינויים המתחייבים. במקרה זה הבחירה ב-60 כסף התחתון היא בשל הרציונל שאין להכשיל סטודנטים בגלל התקנון על ידי הורדת הציון מתחת ל-60. יתרה מזאת, יש לשים לב שעל פי שיטה זאת ציון 100 יישאר ציון 100.

לסיום אוסיף שלוש הערות: ראשית, אם ממוצע הציונים המתקבלים חורג מהרף התחתון או העליון הרצוי (למשל בדוגמה לעיל 85 או 75) יש להפעיל את השיטה מחדש, עם תקנון מלא ללא קביעת רף תחתון מחדש, משלב 2 ואילך רקורסיבית מספר פעמים נדרש עד לקבלת הציון הרצוי (כלומר שנופל בתחומי הרף העליון והתחתון להפעלת תקנון).

שנית, כדי לצמצם את מספר הריקורסיות ניתן להכפיל את ה"הפרש" במכפלה שתחושב כך: 100 כפול 2 לחלק ל (100 פחות ציון הרף התחתון). הכפלת ההפרש בשיעור האמור תצמצם את מספר הריקורסיות מבלי שנחרוג ממוצע היעד.

באופן כזה יתוקננו הציונים לא בצורת "נרמול" מלאכותית אלא באורח שישמר את צורת ההתפלגות המקורית ויתקרב להתפלגות הציונים המשוערת, לו הייתה הבחינה ברמת קושי כזו שממוצע היעד היה ממילא הממוצע הממשי של אותה בחינה.

והערה שלישית ואחרונה: ההיגיון בנרמול על פי "פעמון גאוס" בהקשר לדיוננו – ככל שהוא קיים – מתקיים אך ורק אם מבטיחים שכל המוסדות מפעילים לגבי כל הנבחנים שלהם אותה שיטה. זו אולי הסיבה לכך שבתי ספר למשפטים בארה"ב נוקטים בשיטה זו. שכן אף על פי שהנרמול בכל כיתה יוצר עיוותים בבחינה השוואתית, עדיין מתקבל סולם אורדינאלי-השוואתי-אינפורמטיבי בין סטודנטים שונים, ממוסדות שונים תוך נטרול הבדלים מוסדיים-ספציפיים בדירוג קרדינאלי מוחלט. אולם כל זה טוב רק אם יש מדיניות אחידה. אם אין מדיניות כזו, חסרונות הנרמול הגאוסיאני, כפי שהסברתי לעיל, עולים על יתרונותיו. בכל מקרה, שיטת התקנון המשמרת המוצעת כאן עדיפה.

על המחבר / המחברת

דורון מנשה

דורון מנשה

עורך מדור חוק ומשפט. פרופסור חבר בפקולטה למשפטים של אוניברסיטת חיפה. מומחה לדיני הראיות, וללוגיקה של ההוכחה המשפטית. חבר מערכת בכתב העת International Commentary on Evidence. מגשר ובורר במסגרת המוסד הישראלי לבוררות עסקית וכן במסגרת הפדרציה הארצית לבוררות. פרסם מאמרים רבים וכן שלושה ספרים.

7 תגובות

  1. מנוסה
    מנוסה דצמבר 28 2016, 12:00
    מרצה מנוסה פותר הבעיה

    ללא צורך בנוסחאות

    השב לתגובה
  2. מאיר פלג
    מאיר פלג דצמבר 29 2016, 07:51
    שיפוץ ציון = מירמה מאורגנת

    זו עוד שיטה לתת ציון שלא מגיע…במיוחד במוסדות שבהם מכתיבים לך מראש את הממוצע הכתתי בלי לקחת בחשבון את רמת הכיתה ורק בשביל לשמור שקט תעשייתי ו"מראה פנים יפות" מול המל"ג. לפחות בשלושה מוסדות לימוד שלימדתי זו היתה הוראת ראש חוג אפילו בכתב. ממוצע 85 למשל…לגבי מרמה אקמית בישראל ראו http ://google.wixsite.com/taliacademy

    השב לתגובה
  3. מרצה לשעבר
    מרצה לשעבר דצמבר 30 2016, 08:01
    ציונים זה הדבר הכי יחסי שיש

    הרי אף אחד לא חושב שציון מסויים, נגיד 80 באוניברסיטה הכי טובה בעולם הוא שווה לציון 80 במכללה הכי עלובה בעולם. יותר מכך הרי דוקא במקומות הפחות איכותיים מפזרים ציונים ביד רחבה יותר.

    השב לתגובה
  4. יצחק דגני
    יצחק דגני דצמבר 31 2016, 00:57
    שיטת מנשה ???

    ב- 2016 ניגשו לבחינת לשכת עו"ד 130 בוגרי העברית, עברו 73% בציון ממוצע 74.
    לעומת זאת ניגשו 693 בוגרי מכללת קרית אונו, עברו 16% בציון ממוצע 61.
    אז מה כל הסיפור של תיקנון הציונים?
    זו שחיתות מהמעלה הראשונה.
    כך הורסים את הרמה האקדמית.
    תיקון ציונים? – חס וחלילה.
    ולמכללות – תפסיקו לרמות את הסטודנטים למשפטים שלכם ולגזול את כספם.
    גם אם חלק קטן מהם יהיה עורכי דין, הם יהיו עם ממוצע 61. אבוי למי שיקבל שירותי עו"ד מהם.

    השב לתגובה
  5. מתמצא
    מתמצא ינואר 01 2017, 19:00
    בלי לזלזל חס וחלילה באף אחד

    אני יודע שרוב נותני הציונים באוניברסיטאותלא מסוגלים להבין את ההסברשניתן כאן. אולי כאן שורש הבעיה?

    השב לתגובה
  6. עמית בר
    עמית בר ינואר 02 2017, 08:03
    הבעיה מתחילה בהכתבות של המחלקות

    ושל ההנהלות של המוסדות האקדמיים שרוצים ממוצעים מסוימים וזה נראה לי עקום

    השב לתגובה
  7. ספיר
    ספיר ינואר 31 2018, 15:49
    כל ניסיון לשנות ציונים

    להוסיף מרווח מסוים או אחוז מסוים לציון בכדי להגיע לממוצע נתון הוא מעוות בעיני. צריך מלתת ציונים לפי ההישגים ברמה הנדרשת מקורס מבוים במחלקה מסוימת במוסד נתון – וזהו

    השב לתגובה

כתוב תגובה

הוסף תגובה:

שדות חובה מסומנים *

* אני מתחייב לפעול על פי תנאי השימוש באתר


התגובות יפורסמו לפי שיקול דעת העורך

כתבות נוספות

פוסטים אחרונים באקדמיה

יתר המאמרים במדור
Do NOT follow this link or you will be banned from the site!