استفاده از فرمول کوکران برای بررسی معناداری قبولی یا مردودی دانشجویان

در نظام ارزشیابی ۲۰ نمره­ای این ابهام وجود دارد که وقتی یک دانشجو نمره­ی ۱/۱۰ یا ۹/۹ می­گیرد چه قدر قبولی یا مردودی او برای ما معنادار است؟ به عبارت دیگر اگر آزمون تکرار شود، از کجا بدانیم که جای دو دانشجوی قبول و مردود عوض نمی­شود. در این نامه برآن هستیم تا روشی را ارائه کنیم که با استفاده از آن بتوان معناداری قبولی یا مردودی دانشجویان را با استفاده از فرمول کوکران تشخیص داد. آمار و روش تحقیق نقش بسیار مهمی برای دانشجویان دارد. باید درنظر داشت که آمار و روش تحقیق نه صرفا برای یادگیری مقاله نویسی است و نه یک هدف برای یک دانشجویی که براساس رشته­ی تحصیلی خود رسالت دیگری دارد، بلکه وسیله­ و ابزارکاری ضروری برای مطالعه، تفسیر و نگاهی عمقی به مقالات و کتب مرجع برای آموزش، تشخیص و درمان دقیق­تر است(۱و۲). از طرف دیگر، روایی و پایایی از ویژگی­های مهم و ضروری روش­های ارزشیابی است(۳). از این رو می­توان از آمار برای ارزشیابی آموزش پزشکی نیز استفاده کرد. از آن­جایی که در فرمول­های محاسبه­ی حجم نمونه، سه رکن اندازه­ی نمونه، اندازه­ی اثر (effect size) یا حداقل تفاوت بالینی معنادار، و نهایتا سطح معناداری وجود دارد، فرمول کوکران (شکل ۱) هم از این قائده مستثنی نیست. شکل ۱: خلاصه شده­ی فرمول کوکران   این فرمول برای تخمین حجم نمونه در مطالعات توصیفی به کار می­رود. تصور اشتباه بر این است که در مطالعات توصیفی گزارش P value بی­معنا است؛ اما در حقیقت چنین نیست. ما در مطالعات توصیفی و مطالعات اقدام پژوهی به دنبال گزارش درصد فراوانی پدیده­ی مورد نظر هستیم. حال این فراوانی مشاهده شده می­شود فرضیه­ی شماره ۱ ما. فرضیه­ی صفر درصدی است که قرار است درصد به دست آمده در فرضیه­ی ۱ با آن مقایسه شود. برای مثال می خواهیم بررسی کنیم که چه میزان از پرتاب­های یک تیم بسکتبال از حلقه رد می­شود. در اینجا فرضیه­ی صفر ما، که از آن به عنوان احتمال ریاضی هم یاد می­شود، مانند پرتاب سکه فراوانی ۵/۰ است. فرضیه­ی ۱ ما، که از آن به عنوان احتمال تجربی هم یاد می­شود، بسته به مهارت اعضای آن تیم متفاوت است. فرض کنیم در یک مطالعه­ی توصیفی برای یک تیم بسکتبال این احتمال را به­طور تجربی ۶/۰ به دست می­آوریم. اکنون این برای ما مهم است که آیا این برتری ۶/۰ نسبت به ۵/۰ معنادار است یا خیر. در ادامه­ی همین مثال، برای ارتقای عملکرد تیم فوق یک برنامه­ی آموزشی در قالب یک اقدام پژوهشی اعمال می­کنیم. سپس در ارزیابی بازخورد آن مشاهده می­کنیم که این عدد به ۷/۰ رسیده است. برای این که ببینیم آیا موفقیت این برنامه معنادار بوده است یا خیر این بار ۷/۰ را فرضیه­ی ۱ و ۶/۰ را فرضیه­ی صفر درنظر می­گیریم. در چنین مواردی مجهول ما در فرمول کوکران Z می­شود که به راحتی می­توان از روی Z score اقدام به محاسبه­ی P value نمود. برای راحتی کار فرمول تبدیل Z  به P value را در نرم­افزار اکسل ۲۰۱۳ تعریف کرده­ایم. در پروتکل حاضر که مربوط به بررسی معناداری قبولی دانشجویان است، P فراوانی براساس فرضیه­ی صفر است (مثلا نمره­ی ۱۰ از ۲۰ می­شود فراوانی ۵/۰)؛ Q نیز همان ۱-P است؛ n تعداد سوالات امتحان است؛ d اختلاف نمره­ی دانشجوی مورد نظر از ۱۰ برحسب فراوانی است (مثلا نمره­ی ۱۲ از ۲۰ می­شود ۶/۰ کل نمره و d می­شود ۵/۰-۶/۰)؛ و در نهایت Z که مجهول ما است و از روی آن P value حساب می­شود. در همین مثال، کسب نمره­ی ۱۲ در یک آزمون ۱۰۰ سواله در سطح ۰۵/۰ معنادار خواهد شد (شکل ۲). بر همین اساس کسب نمره­ی ۸ نیز به معنای مردودی معنادار است. اما در مورد نمرات ۸ تا ۱۲ نمی­توان برای قبولی یا مردودی اظهار نظر کرد. بر همین اساس هرچه تعداد سوالات یک امتحان کم تر باشد، برای معناداری فاصله­ی بیش تری از نمره­ی ۱۰ لازم است. در جدول ۱ مثال­های دیگر نیز بررسی شده­اند. براساس آن، برای آنکه نمره­ی ۱۱ به معنای قبولی معنادار باشد، لازم است تا آزمون مورد نظر بیش از ۳۸۴ سوال داشته باشد، و برای نمره­ی ۱۲ این عدد حدود ۱۰۰ سوال است. اضافه می­گردد که بارم تمام سوالات باید یکسان باشد.   شکل ۲: نمونه مثال حل شده در فایل اکسل طراحی شده برای پروتکل جدول ۱: نمونه­های حل شده براساس فرمول کوکران (نمره/تعداد سوال آزمون) (* معنادار در سطع ۰۵/۰) ۳۸۵ ۱۰۰ ۸۰ ۴۰ ۲۰ ۱۰ نمره *۰۵۰/۰ ۳۱۷/۰ ۳۷۱/۰ ۵۲۷/۰ ۶۵۴/۰ ۷۵۱/۰ ۱۱ *۰۰۰/۰ *۰۴۵/۰ ۰۷۳/۰ ۲۰۵/۰ ۳۷۱/۰ ۵۲۷/۰ ۱۲ *۰۰۰/۰ *۰۰۲/۰ *۰۰۷/۰ ۰۵۷/۰ ۱۷۹/۰ ۳۴۲/۰ ۱۳ *۰۰۰/۰ *۰۰۰/۰ *۰۰۰/۰ ۰۱۱/۰ ۰۷۳/۰ ۲۰۵/۰ ۱۴ *۰۰۰/۰ *۰۰۰/۰ *۰۰۰/۰ *۰۰۱/۰ *۰۲۵/۰ ۱۱۳/۰ ۱۵   نظام ارزشیابی در کشورهای مختلف به­طور کلی به دو صورت کمی و کیفی است. مطالعات مختلفی در مورد مقایسه­ی این روش­ها و نیز میزان رضایت مندی دانشجویان صورت گرفته است. اما در هیچ­کدام از آن­ها به معناداری و دامنه­ی تکرارپذیری این ارزشیابی­ها اشاره نشده­است. از این رو در پژوهش حاضر به عنوان یک ضرورت به دنبال ارائه روش فوق بودیم. براساس روش طراحی شده در پژوهش حاضر، دانشجویان در سه گروه قرار می­گیرند؛ قبولی معنادار، مردودی معنادار و غیر قابل قضاوت. برای بازه ی غیر قابل قضاوت می­توان از واژه­ی دیگری مثل "مشروط" استفاده نمود. از نقاط قوت این روش می­توان به عدم نیاز به ارفاق نمره جهت کاهش آمار مردودی، اشاره نمود. از محدودیت­ها و مشکلات این روش نیز می­توان به لزوم زیاد بودن تعداد سوالات و نیز بلاتکلیفی گروه مشروط اشاره نمود. برای رفع مشکل زیاد بودن تعداد سوال می­توان cutoff معناداری را براساس تخمین دستی خطای آلفا افزایش داد؛ بدین صورت که خطای آلفا برابر باشد با درصدی از افراد که به روش سابق نمره ی کم تر از ۱۰ می آورند. برای رفع مشکل بلاتکلیفی گروه مشروط نیز می­توان از روش­های تکمیلی مانند مصاحبه ی شفاهی از این دانشجویان برای بررسی صلاحیت گذراندن آن درس استفاده کرد؛ یا این که در هر مقطع تحصیلی برای هر دانشجو سقف مجاز برای تعداد دروس مشروطی درنظر گرفت. پیشنهاد می­شود که از این روش در یک مطالعه­ی اقدام پژوهی استفاده گردد و از دانشجویان هدف نظرسنجی شود. البته در این مرحله نیازی نیست که این نمرات در کارنامه­ی دانشجویان اعمال شود؛ بلکه صرفا یک اقدام پژوهی برای دریافت بازخورد از این برنامه است. در پایان بدین وسیله مراتب سپاس خود را از مرکز مطالعات و توسعه­ی آموزش پزشکی دانشگاه علوم پزشکی لرستان اعلام می­داریم.  

Keywords:

نامه به سردبیر , فرمول کوکران , مردودی دانشجویان