ارزیابی عملکرد مراکز آموزش عالی استان سیستان و بلوچستان

مراکز آموزش عالی به عنوان جزئی از نظام اداری در صورت اعمال روشهای صحیح ارزیابی می توانند به عنوان الگو به تربیت نیروی انسانی متخصص و کارامد بپردازند

در این مقاله سعی شده است عملکرد مراکز آموزش عالی به صورت مقایسه‌ای در استان سیستان و بلوچستان ارزیابی شود. استفاده از روش مقایسه‌ای ضمن دخالت دادن مسایل خاص منطقه امکان الگوبرداری از واحدهای موفق را میسر می‌سازد. یکی از تکنیکهایی که به خوبی توانست در این جهت مؤثر و مفید باشد مدل DEA یا تحلیل پوششی داده‌ها بود. از این رو، ابتدا ورودیها و خروجیها مشخص شدند و به علت زیاد بودن ورودیها و خروجیها با استفاده از روش AHP یا تجزیه و تحلیل سلسله مراتبی مهمترین ورودیها و خروجیها شناسایی شدند و مورد استفاده قرار گرفتند.

در این بررسی ۱۵ واحد به عنوان واحدهای تصمیم‌گیری انتخاب شده است. ورودیها عبارت‌اند از ترکیب و تعداد اعضای هیئت علمی، علاقهٔ فرد به رشتهٔ تحصیلی خود، فضای آموزشی به نسبت دانشجو و تعداد کتابها به نسبت دانشجو. خروجیهای در نظر گرفته شده نیز کیفیت تدریس از نظر دانشجویان، فعالیتهای پژوهشی و تعداد قبولشدگان در مقاطع بالاتر بودند. در نتیجه ۸ واحد کارا و ۷ واحد ناکارا شناسایی شدند.

سپس با سه دیدگاه کاراترین واحد مشخص شد که عبارت‌اند از:

۱) واحد کارایی که بیشتر از بقیه به عنوان الگو انتخاب شده بود،

۲) روش اندرسون، پیترسون،

۳) روشی با استفاده از صفحه گسترده که در هر سه روش یک مرکز آموزشی به عنوان کاراترین واحد شناخته شد.

● تعریف مسئلهٔ تحقیق

یکی از عوامل مؤثر جدانشدنی مدیریت، ارزیابی عملکرد است که ضعفها و تهدیدها، قوت و فرصتها را برای بهبود و اصلاح روندها قطعی می‌سازد. مراکز آموزش عالی به عنوان جزئی از نظام اداری در صورت اعمال روشهای صحیح ارزیابی می‌توانند به عنوان الگو به تربیت نیروی انسانی متخصص و کارامد بپردازند. در برخی موارد می‌توان با مراجعه به آمار و ارقام ارائه شده، ارزیابی عملکرد را انجام داد، اما هنگامی که اطلاعات در دسترس نباشد و داده‌های موجود در تناقض باشند مقایسهٔ فعالیتها خود معیاری برای ارزیابی است. از طرف دیگر هدف مدیران به دست آوردن بهترین عملکرد ممکن برای هر واحد است و مشکل موجود، تعیین چگونگی ابزار اندازه‌گیری و به دست آوردن آن است.

استان سیستان و بلوچستان از جمله استانهای کمتر توسعه یافتهٔ کشور است که پس از پیروزی انقلاب اسلامی مراکز آموزش عالی در آن از رشد کمی قابل توجهی برخوردار شده‌اند. افزایش تعداد مراکز آموزشی، دانشجویان و فارغ‌التحصیلان این سؤال را مطرح می‌کند که با توجه به وضعیت استان این مراکز تا چه حد به صرفه عمل می‌کنند. به عبارت دیگر چون در این استان در بخش آموزش عالی شرایط رقابتی وجود ندارد آیا می‌توان با مقایسهٔ آنان با یکدیگر و تعیین کاراترین واحدها به نسبت ورودیهای دریافت شده و خروجیها الگوهایی را برای دستیابی سایر مراکز به بهره‌وری ارائه داد؟

● اهداف پژوهش

این پژوهش از لحاظ هدف توصیفی است چون برای تعیین و توصیف ویژگیهای یک موقعیت صورت می‌گیرد. از طرف دیگر دانش بشری در زمینهٔ ارزیابی عملکرد در سازمانهای دولتی و مراکز آموزش عالی به اندازهٔ کافی رشد کرده است. هدف اصلی در این پروژه ارزیابی مقایسه‌ای مراکز آموزش عالی استان سیستان و بلوچستان واقع در مرکز استان با به‌کارگیری مدل مناسب است.

● اهداف فرعی

۱) توصیف و شناخت مراکز آموزش عالی استان

۲) تعیین شاخصهای ارزیابی عملکرد

۳) تعیین و اجرای مدل یا مدلهای مناسب

۴) تعیین و معرفی بهترین یا کاراترین مرکز

۵) ارائهٔ راهکارهایی برای رساندن سایر مراکز به بهترین مرکز

● روش تحقیق

به منظور استفاده از روش مناسب برای ارزیابی، عملکرد منابع بررسی شد و بیست مدل مورد نظر قرار گرفت که در نهایت با استفاده از روشهای AHP و DEA این پژوهش انجام شد. برای استفاده از مدل مقایسه‌ای DEA لازم بود شاخصهای مهم مشخص شوند. در بررسیهای به‌عمل آمده در منابع مختلف شاخصهای متعددی شناخته شد، مانند فهرستی که سازمان همکاری اقتصادی و توسعه (OECD) در سال ۱۹۹۷ مورد استفاده قرار داده یا شاخصهایی که مرکز مطالعات مدیریت و بهره‌وری ایران وابسته به دانشگاه تربیت مدرس در دیماه ۱۳۸۰ به معاونت امور مدیریت و منابع انسانی سازمان مدیریت و برنامه‌ریزی پیشنهاد کرده بود. همچنین شاخصهایی در گزارشهای همایش چالشها و چشم‌انداز توسعه در برنامهٔ چهارم مطرح شده بود که مجموعاً ۲۲ شاخص مشترک تشخیص داده شد و چون جنبه‌های مورد نظر که برای قضاوت در بارهٔ مطلوبیت پدیدهٔ مورد ارزیابی مورد تأکید قرار می‌گرفت و دیدگاهها در مورد اهمیت شاخصها می‌توانست متفاوت باشد. بنابراین انتخاب ملاک ارزیابی و اتفاق‌نظر در بارهٔ آنان یکی از مهمترین اقدامات برای انجام ارزیابی به شمار می‌رفت که بدین منظور تصمیم گرفته شد شاخصهای عمده را به‌صورت سلسله مراتبی تعیین کنیم.

در این پژوهش جهت ارزیابی کارایی مراکز آموزش عالی استان از روش DEA استفاده شد. جواب حاصل از این روش در صورتی قابل اعتماد است که تعداد واحدهای تصمیم گیرنده و تعداد

عوامل ورودی و خروجی از قاعدهٔ زیر پیروی کند.

۲ ۶۱۶۱۹; تعداد واحدهای تصمیم گیرنده

(متغیرهای خروجی + متغیرهای ورودی)

ابتدا به‌دلیل مشخص نبودن اولویت شاخصها در مورد تمام آنها از طریق مکاتبه، مراجعهٔ حضوری و پرسشنامه اطلاعات جمع‌آوری شد.

بنابراین ضمن اجتناب از هم‌پوشی شاخصها تصمیم گرفته شد از نظر خبرگان برای تعیین شاخصهای مؤثر استفاده شود. بدین منظور پرسشنامه‌ای با ۲۲ شاخص شامل موارد زیر طرح شد.

تاریخ تولد (سن) دانشجویان، تحصیلات پدر، رتبه، معدل دیپلم، درآمد خانوار، تعداد افراد خانوار، چندمین ‌فرزندخانوار، تأثیر خانوار، عوامل اجتماعی مؤثر در انتخاب رشته، علاقهٔ فرد به رشتهٔ تحصیلی خود، کیفیت تدریس از نظر دانشجو، تعداد رشته و مقاطع تحصیلی در مرکز آموزشی، تعداد کتابهای موجود در کتابخانهٔ دانشکده، فضای کتابخانه، فضای آموزشی، اعتبارات آموزشی، اعتبارات جاری، میانگین معدلهای دانشجویان، تعداد قبول شدگان در مقاطع بالاتر، تعداد دانشجویان اخراجی (به هر دلیل)، ترکیب و تعداد اعضای هیئت علمی، تعداد کادر آموزشی ثابت و فعالیتهای پژوهشی.

برای افزایش دقت در مورد مدل مورد استفاده چون تعداد مراکز مورد بررسی از ۱۵ واحد تجاوز نمی‌کرد و تعداد متغیرهای ورودی و خروجی می‌بایست حداکثر ۷ شاخص باشد ابتدا با استفاده از روش AHP شاخصها را رتبه‌بندی کردیم و آنها را با توجه به رتبهٔ کسب شده به عنوان عوامل ورودی و خروجی در روش DEA به‌کار بردیم. در کاربرد روش AHP نیز برای انتخاب صحیح شاخصها از AHP گروهی استفاده کردیم. در پرسشنامهٔ مورد استفاده یک مقیاس ۹ رتبه‌ای برای هر شاخص تعیین شد و رتبه‌ها از غیرقابل ترجیح تا به‌شدت قابل ترجیح گسترده بودند. به‌دلیل آنکه روش AHP از اعداد ۱ تا ۹ برای درجه بندی حاصل مقایسه‌ها استفاده می‌کند. پرسشنامه‌ها در اختیار ۱۰ نفر از صاحبنظران آموزشی عالی استان قرار داده شد که بیش از ۶۰ درصد مدیران مراکز تحت بررسی را پوشش می‌داد و ضمن توضیح هدف کار و چگونگی استفاده از پرسشنامه‌ها، از آنها خواسته شد با دقت و حوصله رتبهٔ هر شاخص را در مقایسه تعیین کنند. سپس با استفاده از پرسشنامه‌ها، جدول مقایسات زوجی هر یک تهیه شد و بعد از آن با روش میانگین هندسی جدول مقایسات زوجی حاصل نظر هر یک از تصمیم گیرنده‌ها را با یکدیگر تلفیق کردیم و مراحل بعدی را به صورت زیر انجام دادیم. به منظور بهنجارسازی مقادیر (بی‌مقیاس کردن)، هر مؤلفه از ماتریس مقایسات زوجی را بر مجموع مقادیر ستون شامل آن عدد تقسیم می‌کینم تا بی‌مقیاس کردن خطی انجام شود.

لازم به توضیح است که در اینجا از بی‌مقیاس کردن با استفاده از نرم‌افزار، به ‌دلیل منجر نشدن با طول مساوی و یکنواخت نشدن عمل بهنجارسازی استفاده به‌عمل نیامد. همچنین چون شاخصهای این پژوهش دارای جنبهٔ مثبت بود نیازی به تفکیک به‌صورت بی‌مقیاس کردن با توجه به جنبهٔ مثبت و منفی شاخص نبود.

سپس برای محاسبهٔ وزن مربوط به هر شاخص از روش میانگین استفاده کردیم (میانگین مقادیر هر سطر از جدول بهنجار شده محاسبه می‌شود). این روش به‌علت زیاد بودن تعداد شاخصها و سادگی محاسبه نسبت به دیگر روشها ترجیح داده شده است.

در دیگر روشها عموماً لازم است محاسبهٔ تعداد زیادی از عوامل و پارامترها و یا حل برنامه‌ریزی غیرخطی برای هر شاخص لازم است که زیاد بودن شاخصها در این بررسی موجب افزایش مراحل حل مسئله می‌شود. سپس شاخصهای مورد نظر با روش تحلیل پوششی داده‌ها DEA مدل CCR و با استفاده از نرم‌افزار LINDO مورد تجزیه و تحلیل قرار گرفت.

● یافته‌های تحقیق

در ابتدا بیست مدل مورد بررسی قرار گرفت و روش تحلیل داده‌ها به عنوان مدل اصلی برای ارزیابی انتخاب شد. دلایل ترجیح این روش در اینجا ذکر می‌شود.

اولین ویژگی ارزیابی DEA، ارزیابی واقع‌بینانهٔ آن نسبت به روشهای دیگر ارزیابی است. DEA از مجموعهٔ واحدهای تصمیم‌گیرنده، تعدادی را به عنوان کارا معرفی می‌کند و به کمک آنها مرز کارایی را تشکیل می‌دهد و آنگاه این مرز را ملاک ارزیابی واحدهای دیگر قرار می‌دهد. در این ارزیابی واحدهای ناکارا به دلیل مقایسه با یک سطح استاندارد از قبل تعیین شده یا شکل تابعی معلوم، ناکارا ارزیابی نشده‌اند بلکه ملاک ارزیابی آنها واحدهای تصمیم گیرندهٔ دیگری بوده است که در شرایط یکسانی فعالیت می‌کنند. ویژگی مهم دیگر ارزیابی DEA ، ارزیابی توأم مجموعه‌ای از عوامل است. در مدلهای DEA عوامل ورودی و خروجی توأما مورد ارزیابی قرار می‌گیرند و محدودیت یک ورودی یا تک خروجی وجود ندارد.

یکی دیگر از ویژگیهای اساسی مدلهای DEA ویژگی جبرانی بودن آنهاست. به عبارت ساده این ویژگی به واحد تصمیم‌گیرنده اجازه می‌دهد کمبود یا ضعف خروجیهایش را به کمک خروجیهای دیگر یا مصرف اضافی در بعضی از ورودیهایش را با صرفه‌جویی در ورودیهای دیگر جبران کند.

گرچه تحلیل پوششی ورودیها در ابتدا برای ارزیابی

واحدهای تصمیم‌گیرنده ارائه شده است ولی قابلیتهای گستردهٔ مدلهای آن این روش را به عنوان یکی از روشهای پرکاربرد تبدیل کرده است. با توجه به اینکه پرداختن به جزئیات قابلیتهای کاربردی تحلیل پوششی ورودیها خارج از اهداف این مقاله است، تنها به ذکر عناوین این قابلیتها اکتفا می‌کنیم.

▪ واحد تصمیم‌گیرنده نشانه را تعیین می‌کند. این واحدها به عنوان الگوی عملکرد واحدهای ناکارا مطرح می‌شوند.

▪ راهکارهای بهبود کارایی را تعیین می‌کند. به کمک این راهکارها واحدهای ناکارا می توانند عوامل ناکارایی خود را بشناسند و تصحیح کنند.

▪ بازده به مقیاس واحدها را تخمین می‌زند. براساس این تخمین، واحدها به سه دستهٔ بازده نزولی، صعودی و ثابت نسبت به مقیاس تقسیم می‌شوند.

▪ واحدهای با بیشترین اندازهٔ مقیاس بهره‌وری را تعیین می‌کنند. این واحدها، واحدهای کارایی هستند که بهترین اندازه را دارند.

▪ راهکارهای توسعهٔ واحدها را پیشنهاد می‌دهد. این ‌راهکارها شامل انبساط یا انقباض واحدهاست.

▪ پیشرفت یا پیشرفت تکنیکی واحدها را در یک فاصلهٔ زمانی مشخص تعیین می‌کند.

▪ ورودیهایی که باعث تراکم یا ازدحام شده را شناسایی و میزان تراکم آنها را محاسبه می‌کند.

▪ تخصیص بهینه‌ای از منابع را انجام می‌دهد که در آن دیدگاههای کارشناسی شدهٔ مدیر هدف اصلی است.

▪ پتانسیلهای عملکردی سازمانهای مختلف را که متشکل از واحدهای تصمیم‌گیرنده است اندازه‌گیری و به عنوان یک شاخص عملکردی در ارزیابی آنها ارائه می‌کند.

چون تصمیم گرفته شد از مدل تحلیل پوششی داده‌هایا DAE برای ارزیابی استفاده شود، همانگونه که توضیح داده شد، بایستی شاخصها رتبه‌بندی می‌شدند که با استفاده از روش AHP آنها به‌شرح زیر رتبه‌بندی شدند.

بالاترین رتبه مربوط به ترکیب و تعداد اعضای هیئت علمی است که در این شاخص، تعداد اعضای هیئت علمی و مراتب آنها بر اساس مربی آموزشیار، مربی، استادیار، دانشیار، استاد مد نظر بوده که به‌صورت زیر محاسبه شده است.

+ (تعداد مربی آموزشیار) = ضریب هیئت علمی

(استاد) ۵ + (دانشیار) ۴ + (استادیار) ۳ + (مربی) ۲

نویسنده:

محمدجواد حسین‌زاده سلجوقی

مرجعها

۱. آریانژاد، میربهادرقلی، سجادی، سیدجعفر، تحقیق در عملیات ۲، دانشگاه علم و صنعت ایران، ۱۳۸۱

۲. اصلانی، رشید، شناخت و تحلیل وضع موجود نظام اداری به روش سیستمی، همایش نظام اداری و توسعه، ۱۳۷۸

۳. الوانی، سیدمهدی، جفره، منوچهر، ارائهٔ الگوی نظری برای کنترل و مهار فساد اداری، اقتصاد و مدیریت شماره ۳۶، ۱۳۷۷

۴. آفاقی، آذر، بنچ مارکینگ، ارزیابی عملکرد درونی یک سازمان در مقایسه با دیگر رقیبان، استاندارد، شماره ۹۴، تیرماه ۱۳۷۸

۵. آذر، عادل، نظام بودجه‌ریزی، ابزاری مؤثر در ارزیابی عملکرد دستگاههای اجرایی کشور، مجموعه مقاله همایش ارزیابی عملکرد دستگاههای اجرایی کشور، دومین جشنواره شهید رجایی، شهریور ۱۳۷۸.

۶. الهی، شعبان، مثلث عملکرد، مجموعه مقاله همایش ارزیابی عملکرد دستگاههای اجرایی کشور؛ دومین جشنواره شهید رجایی، شهریور ۱۳۷۸.

۷. انواری رستمی، علی‌اصغر، بررسی مدلهای مؤثر در ارزیابی عملکرد دستگاههای اجرایی کشور؛ مجموعه مقاله همایش ارزیابی عملکرد دستگاههای اجرایی کشور، دومین جشنواره شهید رجایی، شهریور ۱۳۷۸.

۸. اوماسکاران، روشهای تحقیق در مدیریت، ترجمه محمد صائبی و محمود شیرازی، مرکز آموزش مدیریت دولتی، ۱۳۸۰ .

۹. ابراهیمی، محمدعلی، حدیث عشق (عملکرد دانشگاه آزاد اسلامی – واحد زاهدان)، دانشگاه آزاد اسلامی، ۱۳۸۱ .

۱۰. اصغرپور، محمدجواد، تصمیم‌گیری‌های چند معیاره، انتشارات دانشگاه تهران، چ ۲، ۱۳۸۱

۱۱. بازرگان، عباس، ارزشیابی مفاهیم، الگو و فرایند عملیاتی، انتشارات سمت، ۱۳۸۱.

۱۲. باقریان، محمد، گزارش شناخت وضع موجود نظام اداری و توضیح برنامه اجرایی مرحله اول تحول در نظام اداری، سازمان امور اداری و استخدامی کشور، ۱۳۷۸، تهران.

۱۳. بازرگان، عباس، ارزیابی درون دانشگاهی و کاربرد آن در بهبود مستمر کیفیت آموزش عالی، فصلنامه پژوهش و برنامه‌ریزی در آموزش عالی، شماره ۱۱ و ۱۲ – پاییز، ۱۳۷۴

۱۴. خاکی، غلامرضا، آشنایی با مدیریت بهره‌وری، کانون فرهنگی انتشاراتی، چاپ اول، ۱۳۷۶.

۱۵. دفتر مطالعات و پژوهشهای بانک ملت، کیفیت در بانک، ۱۳۸۱.

۱۶. سازمان مدیریت و برنامه‌ریزی استان تهران، ارزیابی عملکرد دستگاههای اجرایی استان تهران، ۱۳۸۱.

۱۷. سازمان مدیریت و برنامه‌ریزی استان سیستان و بلوچستان، سالنامه آماری، ۱۳۸۰.

۱۸. سازمان مدیریت و برنامه‌ریزی، گزارش برنامه تحول در نظام اداری کشور، ۱۳۸۱.

۱۹. سازمان امور اداری و استخدامی کشور، طراحی و تدوین نظام پاسخگویی دولت در مقابل شهروندان و احقاق حقوق ارباب رجوع، مؤسسهٔ مطالعات مهر فرهنگ، ۱۳۷۸.

۲۰. سازمان ملی بهره‌وری ایران، مجموعه مصوبات و مستندات استوار چرخه مدیریت و بهره‌وری، شرکت تعاونی معین ادارات، ۱۳۷۹.

۲۱. شفیعا، محمد علی، ارزیابی کیفیت در مراکز آموزش عالی، مؤسسه آموزش و پژوهش و برنامه‌ریزی آموزش عالی، ۱۳۸۰.

۲۲. راستگو، الهه، شریفی، اصغر، تأملی در فلسفه ارزیابی عملکرد، مجموعه مقالات همایش ارزیابی عملکرد دستگاههای اجرایی کشور، دومین جشنواره شهید رجایی، شهریور ۱۳۷۸.

۲۳. علیرضایی، محمدرضا، جعفری، سعید، تحلیل پوششی داده‌ها ابزاری کارامد در ارزیابی عملکرد دستگاههای اجرایی، همایش ارزیابی عملکرد دستگاههای اجرایی کشور، دومین جشنواره شهید رجایی، شهریور ۱۳۷۹.

۲۴. صدقیانی، جمشید، رویکرد ریاضی به فرایند تحلیل سلسله مراتبی AHP ، مجله مطالعات مدیریت شماره ، ۱۳۸۱، ص ۱۱۴ الی ۱۳۶.

۲۵. طبرسا، غلامرضا، بررسی و تبیین نقش اقتضائات استراتژیک در انتخاب ارزیابی عملکرد سازمانهای دولتی، همایش ارزیابی عملکرد دستگاههای اجرایی کشور، دومین جشنواره شهید رجایی، شهریور ۱۳۷۸.

۲۶. فرزیان‌پور، فرشته، مکانیسم کنترل ارزیابی عملکرد، مقاله ارائه شده جهت همایش جشنواره خوارزمی ۱۳۷۹.

۲۷. مرکز مطالعات و بهره‌وری ایران، طراحی نظام ارزیابی عملکرد دستگاههای اجرایی کشور، ۱۳۸۰.

۲۸. کافمن، راجر و هرمن، جری، برنامه‌ریزی استراتژیک در نظام آموزشی (بازاندیشی، بازسازی ساختارها، بازآفرینی) ترجمه فریده مشایخ و عباس بازرگان، تهران: انتشارات مدرسه، ۱۳۷۴.

۲۹. مایکل همر، مهندسی دوباره شرکتها، دکتر عبدالرضا رضائی‌نژاد، مؤسسه خدمات فرهنگی رسا، ۱۳۷۹.

۳۰. گروه نویسندگان، طراحی نو برای تحول در ساختار دولت، مجلس و پژوهش، شماره ۲۴، ۱۳۷۷.

۳۱. قورچیان، نادر، خورشیدی، عباس، شاخصهای عملکرد در ارتقای کیفی مدیریت نظام آموزش عالی، انتشارات فراشناختی اندیشه، ۱۳۷۹.

۳۲. نایبی، حمیدرضا، تجارت مفید بدست آمده از اجرای لایحه عملکرد و نتایج دولت آمریکا (GPRA) جهت بهره‌برداری در نظام ارزیابی عملکرد دستگاههای اجرایی کشور، مجموعه مقاله همایش ارزیابی عملکرد دستگاههای اجرایی کشور، دومین جشنواره شهید رجایی، شهریور ۱۳۷۸.

مرجعهای خارجی

۱. Craft, A (Ed.) (۱۹۹۴), International Developments in Assuring Quality in Higher Education: Selected Papers From an International Conference (Montreal, ۱۹۹۳), London: Falmer.

۲. Outright, W, Jonathan, Strategic Performance Management: Development of a Performance Measurement System at the Mayo Clinic, Journal of Heath Care Management, Vol. ۴۵, Iss ۱, pp. ۵۸, Jan-Feb.۲۰۰۰.

۳. Com, Perer “Organization al Effectiveness” , Afres, ۱۹۹۲.

۴. Dias, A (۱۹۹۸), “Higher Education: Vision and Action for the Coming Century”, Prospects, ۲۸(۳):۳۶۷-۳۷۵.

۵. Halachmi, Arie, Mandated Performance Measurement: A Help or a Hindrance? National Productivity Review, Vol. ۱۸, Issue ۲, pp. ۵۹-۹۷, ISSN: ۰۲۷۷۸۵۵۶, NewYork, Spring, ۱۹۹۹.

۶. Hingoft, E Laine, New Organization Performance Test Uncover Some Surprising Relational Behavior, Credit Union Times, Vol. ۱۱, Issue ۳, January, ۲۰۰۰. West Plam Beach.

۷. Organization for Economic Co-operation and Development (OECD) (۱۹۹۷), Education at a Glance: OECD Indicators, Paris: OECD.

۸. Verkasalo, Matti, Lappalainen, A Method of Measuring the Efficiency of the Knowledge Utilization Process, IEEE Transactions on Engineering Management, Vol. ۴۵, Issue ۴ , pp. ۴۱۴-۴۲۳, ISSN: ۰۰۱۸۹۳۹۱, NewYork, November, ۱۹۹۸.

۹. Vroeijenstijn, A.I.(۱۹۹۵), Improvement and Accountablitity, London: Jessica Kingsley Publishers.

۱۰. Verhasal, Matti, A Method of Measuring the Efficiency of the Knowledge Utilization Process, IEEE Transaction on Engineering Management. November, ۱۹۹۸, NewYork.

۱۱. Windham, D.W. and D.W. Chapman, (۱۹۹۰), The Evaluation of Educational Efficiency: Constraints, Issues and Policies. London: JAI Press.

۱۲. Wyatt, T. (۱۹۹۴) “Educational Indicators: A Review of the Literature”, in OECD (Ed.), Marking Education Count.

---