بررسی رتبه دهی ارزیابان آزمون های عملکردی سراسری (طراحی صنعتی، شناخت موسیقی، نمایش عروسکی، طراحی معماری و اسکیس معماری) بر اساس روش های کلاسیک و مدل های چندوجهی راش

هدف:  پژوهش حاضر به منظور بررسی میزان جدیت/تساهل و گرایش به مرکز ارزیابان در نمره­گذاری آزمون­های عملکردی سراسری سازمان سنجش انجام شد. روش پژوهش: برای این منظور از داده­های ثانویه آزمون­های طراحی معماری سال­های ۱۳۹۶ (۵۴۳۷ نفر)، اسکیس معماری ۱۳۹۷ (۷۴۵۹ نفر)، طراحی صنعتی سراسری سال ۱۳۹۶ (۱۳۶۵نفر)، موسیقی سال ۱۳۹۷ (۵۶۹ نفر) و نمایش عروسکی سال ۱۳۹۷ (۹۷ نفر) استفاده شد. داده­ها با استفاده از روش­های کلاسیک و مدل­های چند وجهی راش تحلیل و نتایج استخراج شد. یافته ها: در هر دو آزمون طراحی معماری، در کل میزان همسانی (مطابقت نسبی بین درجه­بندی­ ارزیابان) قابل قبول، ولی در آزمون­های طراحی صنعتی، شناخت موسیقی و نمایشنامه­نویسی میزان همسانی پایین است. میزان اجماع (توافق) در هر پنج آزمون مورد بررسی نیز پایین است. نتیجه گیری: نتایج حاصل از مدل­های چندوجهی نشان داد اثر سخت­گیری ارزیاب و استفاده از نمره­های کرانه­ای پایین در نمره­گذاری، در هر دو آزمون طراحی معماری وجود داشت، ولی مطابق انتظار اثر گرایش به مرکز وجود نداشت. به دلیل استفاده از طرح­های جمع­آوری داده­های نامناسب (مثلا در همه پاسخ­ها یا تکالیف یک آزمون، هر داور فقط ۲ مورد مجزا از هم را ارزیابی می­کند و هیچ همپوشی بین موارد ارزیابی شده توسط ارزیابان وجود ندارد تا با هم به صورت درست مقایسه شوند یا این که در یک آزمون هر تکلیف یا سوال توسط داوران متفاوت ارزیابی می­شود) در آزمون­های طراحی صنعتی، شناخت موسیقی و نمایشنامه نویسی امکان تحلیل با مدل­های چندوجهی وجود نداشت. با توجه به یافته­ها توصیه می­شود به هنگام ارزیابی آزمون­های عملکردی سراسری، اولا از طرح مناسب برای ارزیابی استفاده شود و دوما با آموزش ارزیابان در زمینه نمره­گذاری آزمون­های عملکردی از تاثیر عواملی مثل جدیت یا تساهل و کاهش توافق جلوگیری به عمل آید.

Keywords:

مدل­های چند وجهی راش , جدیت , تساهل , گرایش مرکزی , آزمون­های عملکردی سراسری