بازگشت سرمایه الگویی؛ برای ارزیابی اثربخشی آموزش

● مقدمه
جهان امروز، جهان تغییر و تحول است. بندرت روزی بدون نوآوری در جهان اقتصاد‌، تغییر در تولید یا وضعیت خدمات می گذرد. در چنین شرایطی بیشتر سازمانها به دنبال راه حلی برای تطبیق با این شرایط هستند‌. راه حلی که توسط بیشتر صاحب‌نظران عنوان شده ، آموزش و بهسازی منابع انسانی است. از لحاظ علمی نیز فشارهای فرهنگی‌، اجتماعی ، تکنولوژیک، اقتصادی و سیاسی با هم ترکیب شده اند تا سازمانها را مجبور کنند به پتانسیل های اساسی به طور کل و به آموزش به طور خاص توجه بیشتری داشته باشند.
با توجه به مباحث فوق غالب سازمانها و موسسات پیشرو ، بیش از پیش توجه خود را به دوره های آموزشی به منظور بهسازی منابع انسانی خویش معطوف داشته اند. اما در حالی که اهمیت و ضرورت طراحی و اجرای آموزشهای حین کار در سازمانها به صورت یک امر طبیعی در آمده است و همگان بر آن اتفاق نظر دارند ، آنچه در طراحی و اجرای آموزش اهمیت فوق‌العاده‌ای پیدا می کند ، ارزیابی اثربخشی این نوع آموزشهاست که بتوان ازنتایج به دست آمده ، آموزشهای تکمیلی و جهت داری را طراحی کرد.
تعیین دقیق اثرات و نتایج یک دوره آموزشی بر شرکت کنندگان و تعیین دقیق نحوه عملکرد آنها در بازگشت به محل کار خود در سازمان ، فرایندی است پیچیده و مشکل و گاه مبتنی بر قضاوتهای ذهنی کسانی است که هر چند در تهیه و اجرای ظاهراً موفقیت آمیز یک دوره آموزشی کوشش بسیار به عمل می آورند ، اما کمتر به آثار و نتایج عملی دوره آموزشی توجه دارند . (ساعتچی، ۱۳۶۸)
● ضرورت ارزیابی اثربخشی آموزش
یک برنامه فعالیت آموزشی تنها زمانی می تواند ارزشمندی خود را توجیه کند که شواهد قابل اطمینان و معتبری در مورد تاثیر آموزش بر بهبود رفتار و عملکرد شرکت کنندگان و بالطبع منافع سازمانی عرضه کند . این امر به جنبه مهمی از آموزش و ارزشیابی آموزش اشاره دارد که معمولاً از آن با عنوان « اثربخشی آموزش» یا « ارزیابی اثربخشی آموزش» یاد می شود .
سالانه سازمانها مبالغ هنگفتی را برای آموزش مهارتهای خاص صرف می کنند. بدون اینکه اثربخشی آنها به طور مطلوب اندازه گیری شود یا سیستم بازخورد مناسبی در سازمان وجود داشته باشد . متاسفانه در بسیاری از موارد سیستم اثر بخشی اصلاً وجود ندارد یا بسیار پراکنده و بی نظم است.
از سوی دیگر هر گونه بی توجهی و سهل انگاری در ارزشیابی دوره های آموزشی موجب خواهد شد که آن دوره ها به صورت اقدامی تفننی برای کارکنان و یا تلاش برای استفاده از مزایای آن درآید. (ابیلی ،۱۳۷۲ ) از طریق تعیین میزان اثربخشی عملیات و مداخلات آموزشی می توان قضاوت کرد که عملکرد برنامه آموزشی تا چه اندازه مطلوبیت دارد وتا چه اندازه باید بهبود یابد . اما به طور کلی دلایل تعیین اثربخشی برنامه های آموزشی عبارتند از :
۱) تعیین بازده آموزش
۲) ارتقای کیفیت آموزش
۳) توسعه اعتماد جمعی
مفید بودن ارزشیابی آموزش در مطالعات گزارش شده بسیاری از نویسندگان اثبات شده است . آموزش دهندگان درهمه رشته‌ها باید برنامه ارزشیابی آموزش را تدوین کنند.
به طور کلی ارزیابی آموزش جزء جدایی ناپذیر فرایند آموزش به شمار می رود و قرار دادن آن به عنوان بخشی از فرایند آموزش، نشان دهنده مهارت در طراحی یک برنامه آموزشی به شمار می رود .
● علل تنوع الگوها و رویکردهای اثربخشی آموزش
در ارزشیابی الگو های متعددی وجود دارد . این الگوها براساس دیدگاههای خاصی که در تعریف ارزشیابی وجود دارد شکل گرفته اند . این دیدگاهها هریک ، جنبه هایی خاص از ارزشیابی را مورد نظر قرار داده و الگوی خاصی را تنظیم کرده اند . برخی از الگو ها توجه خود را به ارزشیابی رفتار یادگیرنده ، مواد آموزشی یا شیوه های مربوط به آن معطوف کرده اند . گروه دیگری از الگوها ، بر اهمیت نقش ارزشیابی در برنامه ریزیهای درسی تاکید کرده و در این رابطه کوشیده اند تا با استفاده از الگوهای متعدد نسبت به اصلاح برنامه ریزی آموزشی اقدام کنند و دسته دیگری از الگوها بر اهمیت گردآوری اطلاعات برای تصمیم گیری تاکید دارند .
تعدد در رویکرد و مدل های ارزیابی می تواند دلایل چندگانه ای به شرح زیر داشته باشد :
۱) متخصصان ارزشیابی بر الگوهای اولیه مورد انتخاب خود ملاحظات ارزشی تازه تری را اضافه
کرده اند. (ابیلی ، ۱۳۷۵)
۲) تجارب متفاوت متخصصان و ارائه کنندگان مدل های آموزش ، که در بازتاب تجربیات خود از ارزشها و جهان‌بینیهای متفاوت استفاده کرده اند .
۳) دلیل دیگر تنوع مدل های ارزشیابی را می توان در پیدایش آنها در موقعیتهای متفاوت جستجو کرد.
۴) تفاوت در اهداف در نظر گرفته برای ارزشیابی؛ اینکه هدف ارزشیابی را اصلاح برنامه بدانیم یا آگاهی یافتن از میزان تاثیر برنامه .
۵) تاکید بر بخش خاصی از فرایند ارزشیابی. (کیامنش،۱۳۷۷).
ارزشیابی بخش نهایی تقریباً همه سیستم‌های توسعه آموزشی است. زیرا تکنیک ها و متدلوژی هایی را برای تعیین اثربخشی و راههایی را برای بهبود مداخلات آموزشی فراهم می آورد.
● الگوی بازگشت سرمایه
اثربخشی تعداد کمی از برنامه های آموزشی مدیران در سطح کاربردی اندازه گیری می شود. و تعداد کمی از شرکتها آموزش را در این سطح ارزشیابی و از اطلاعات حاصل از اهداف ، در ارزشیابی برنامه ها استفاده می کنند. بر اساس گزارش انجمن آمریکا برای آموزش و توسعه، در سال ۱۹۹۶ فقط در دو درصد از برنامه های آموزشی توسعه ای ، اثرات مالی ارزشیابی شده اند.
در سالهای اخیر نرخ بازگشت سرمایه (ROI ) به یک موضوع اساسی برای مدیران تبدیل شده است . بسیاری از متخصصان معتقدند که محاسبه آن در آموزش ممکن نیست و برخی دیگر شاخصها و روشهایی برای آن ارائه داده اند .
یک روند قوی به طرف تدوین و بررسی روابط برنامه آموزشی که نتایجشان مشخص، ارزشیابی و گزارش شده باشد ، وجود دارد. سرمایه گذاری وسیع در بودجه های آموزشی و نیاز به نشان دادن ارزش برنامه ها ، محرکهای اولیه برای گرایش فزاینده به باز گشت سرمایه گذاری آموزشی است. اما مشکل آن است که بازگشت سرمایه در برنامه های آموزشی معمولاً ناشناخته است. این فقر ارزشیابی ممکن است به علت کمبود اعتبار ، کمبود ابزارهای مناسب برای ارزشیابی ، ناتوانی ارزشیابان در مشارکت دادن سرمایه گذاران و ناتوانی در به دست آوردن رویکردهای جامع برای آموزش باشد . به همین دلیل منافع برنامه های آموزشی اغلب ذهنی هستند و مشکل است در قالب اصطلاحاتی پولی در آیند.
اگر چه تحقیقات بسیاری در سطح اثر بخشی آموزشی انجام شده است ، دونالد کرک پاتریک اولین فردی است که چارچوبی را برای اندازه گیری ارزشیابی مفهومی توسعه داد .
در سال ۱۹۵۶ ، دونالد کرک پاتریک الگوی ارزشیابی چهارسطحی معروفش را برای برنامه های آموزشی طراحی کرد و پس از آن و براساس این شالوده، جک فیلیپس سطح پنجمی بر آن اضافه کرد و آن را ROI ( بازگشت سرمایه ) نامید که اشاره به بازگشت سرمایه گذاشته شده در برنامه آموزشی دارد .
الگوی ROI یا الگوی فیلیپس حاصل توسعه الگوی کرک پاتریک است . بازگشت سرمایه پنجمین سطحی است که به این الگو افزوده شده است. فیلیپس در این مدل نشان می دهد که چگونه باید مقادیر پولی یا مالی در ارزش آموزش دخالت داد و بازگشت سرمایه را در یک فعالیت آموزشی محاسبه کرد.
هامبلین (۱۹۷۴) نیز به این سطح (سطح پنجم) ، به عنوان سطح «ارزش نهایی» یا «هزینه – کارایی» اشاره کرده است. این سطح از ارزشیابی ، خصوصاً ارزش پولی برنامه آموزشی را ارزشیابی می کند . به این معنی که سطح پنجم ارزشیابی اطلاعات کمی سطح چهارم را در قالب پولی پوشش می دهد . در این سطح هم داده های کمی و هم اطلاعات کیفی برای تعیین اثر مالی برنامه آموزشی استفاده می شوند .
روش «بازگشت سرمایه» یک روش مالی است که می تواند برای ارزشیابی آموزش ، شناسایی منابع و سرمایه گذاری در فعالیتهای آموزشی استفاده شود. (Kava Lynch, et al, ۲۰۰۵)
سه سطح ارزیابی شده درمرحله نتایج شامل نتایج مفهومی ، عملکردی و مالی است. نتایج مفهومی پایه ای برای منافع سازمانی هستند، مانند نگرشها و خلاقیتها. نتایج عملکردی اشاره به بهبود های قابل اندازه گیری در سازمان مانند ، افزایش کارایی وکاهش غیبت دارند ، نتایج مالی هزینه های مالی ومنافع مالی مانند افزایش فروش و سقف تولید هستند .
● مراحل ارزشیابی بر اساس مدل ROI
▪ مرحله اول : ارزشیابی برنامه ریزی
اولین مرحله ارزیابی مدل بازگشت سرمایه، ارزیابی برنامه ریزی است‌. این مرحله در چند گام انجام
می شود . گام اول شامل ، تعیین اهداف برنامه ، اهداف ارزشیابی ، تعریف انواع منافعی که باید ارزشیابی شوند ، تعیین روشهای جمع آوری اطلاعات و تعیین زمان برای ارزشیابی می شود . مرحله ارزشیابی برنامه یک گام مقدماتی است که منطبق بر طراحی برنامه است که در گام نخست از اهداف برنامه که در ضمن طراحی برنامه تعریف شده اند یا باید تعریف شوند ، استفاده می‌کند. اگر هدفهای برنامه به روشنی تعریف نشده باشند، نیاز است، قبل از ادامه فعالیت در این مرحله و قبل از حرکت در مرحله دوم آنها را تعریف کرد . اهداف یادگیری یک جنبه مهم از طراحی آموزشی هستند.
رابرت ماگر بیان می کند سه عنصر خاص در اهداف یادگیری وجود دارند. این عناصر عبارتند از :
الف) عملکرد خاص مورد انتظار .
ب) شرایطی که تحت آن عملکرد مورد انتظار است .
ج) حداقل سطح قابل قبول عملکرد.
برای تعیین نتایج سازمانی و خط پایه اثر روی سازمان ، یک تحلیل از نوع ارزشیابی «بازگشت سرمایه» نیاز است.
گام بعدی از مرحله ارزیابی برنامه‌ریزی‌، تعیین منافع برنامه آموزشی است . منافع به وسیله یک رویکرد ترکیبی ارزشیابی می شوند . اما عناصر هر برنامه ممکن است متفاوت باشند .سازمانها
می توانند نتایج شان را اندازه گیری کنند. این اندازه گیری می‌تواند به وسیله مشاهده عملکرد یا
روشهای جمع آوری اطلاعات زیر تکمیل شود :
۱) چه نوع اطلاعاتی نیاز است جمع آوری شوند ؟
۲) آسانترین روش برای جمع آوری این اطلاعات کدام است ؟
۳) چه کسی باید این اطلاعات را جمع آوری کند ؟
۴) کدام روش می تواند بیشترین پاسخ را بدهد ؟
▪ مرحله دوم : جمع آوری داده ها
دومین مرحله از مدل بازگشت سرمایه جمع آوری داده هاست . این مرحله شامل تعیین هزینه های برنامه و جمع آوری فیزیکی داده های منافع است . این مرحله در چند گام انجام می شود :
نخستین گام از جمع آوری داده ها، تعیین هزینه های برنامه آموزشی است‌. برای هر برنامه ای سه نوع هزینه وجود دارد . سیاهه هزینه های شناخته شده ، دیگر هزینه های شناخته شده ، هزینه های اضافی برآورد شده ، هزینه های واقعی رخ داده به‌واسطه توسعه و اجرای برنامه آموزشی هستند. دیگر هزینه های شناخته شده ، هزینه هایی هستند که جزء سیاهه هزینه ها یا ذکر شده در هزینه برنامه نیستند. سومین نوع هزینه ، هزینه های اضافی در نظر گرفته شده اند . این یک مقوله وسیع و متنوع است و ممکن است شامل هزینه های درونی و بیرونی شود‌.
دومین گام نیز شامل جمع آوری داده است . این گام به وسیله روش خاص در زمان خاص بر اساس آنچه در مرحله نخست تعریف شده است برداشته می شود .
▪ مرحله سوم : تحلیل داده
مرحله سوم از این روش شامل ارزیابی داده ها ، جمع بندی و گزارش نتایج است‌. ارزیابی اطلاعات، هزینه ها و منافع را مشخص می سازد . هزینه ها قابل فهم هستند . برای تعیین منافع ضروری است، اطلاعات کمی به ارزش پولی تبدیل شوند. در هر سوال با یک کاربرد خاص ، از پاسخ دهنده خواسته می‌‌شود تا وضعیت مالی را نشان دهد . همچنین از پاسخ دهندگان خواسته می شود تا درصد اطمینانشان در کارایی وضعیت مالی را نشان دهند . این فاکتور اطمینان برای ایجاد پایه ای برای کاربرد چندگانه ارزیابی منافع به وسیله درصد اطمینان برای هر سوال استفاده شده است . وضعیت منافع در همه منابع در نهایت جمع می شود. ROI سپس با استفاده از نرخ مالی ساده از ۱۰۰ محاسبه می شود . هدف از جمع بندی و گزارش فرایند ، بهبود برنامه و نمایش و مسئولیت پذیری برای برنامه است . با گزارش نتایج به سوالات زیرپاسخ داده می شود :
ـ آیا برنامه آموزشی به اهداف یادگیری دست یافته است ؟
ـ آیا برنامه های آموزشی تغییری در سازمان بوجود آورده اند ؟
ـ آیا ارزش پول هزینه شده ، به وسیله برنامه به دست آمده است ؟
اگر پاسخ سوالات مثبت باشد برنامه موفقیت آمیز بوده است‌. موفقیت هر برنامه وابسته به
هدفهای ارزشیابی است ، آنچنان‌که در مرحله اول در این مدل تعریف شده است.
در منابع و مراجع مختلف برای محاسبه ROI نکات راهنمای مختلفی ارائه و مطرح شده است که این موارد عبارتند از :
▪ برای هر ارزیابی باید اهداف مشخص شوند . برخی از سازمانها برای هر سطح از برنامه های آموزشی، هدف تعیین می کنند‌. با تعیین چنین اهدافی برای همه سطوح ارزیابی ، لازم است که بخشهای توسعه منابع انسانی، به اندازه گیری و ارزیابی متعهد شوند .
▪ طراحی آموزش و اندازه گیری آن باید همزمان انجام شود . انجام برنامه ریزی آموزشی و برنامه ریزی اندازه گیری آموزش به طور همزمان موثرتر است، زیرا اطلاعات مورد نیاز آنها مشابه است .
▪ ارزیابی آموزشی باید بر سطح خرد متمرکز باشد . به منظور اندازه گیری موثر ROI پاسخگویان باید بر یک برنامه یا تعدادی برنامه یکپارچه متمرکز شوند .
▪ برای جمع آوری اطلاعات از روشهای مختلفی استفاده کنید‌. روشهای جمع آوری داده‌ها
می تواند دربرگیرنده مصاحبه ، گروه تمرکز‌، پرسش‌نامه ، برنامه عملیاتی ، قراردادها و بررسی عملکرد باشد .
▪ اثرات عوامل جانبی ر ا مشخص کنید . پیش از ارزیابی اثرات آموزش لازم است اثرات سایر عوامل که برنتایج موثرند را جدا کنید .
▪ از نتایج گروههای کنترل استفاده کنید . یکی از راهها سنجش موثر سایر عوامل ، مقایسه نتایج یک گروه کنترل با نتایج گروه آموزش دیده است .
▪ در هر بار ROI را برای یک دوره آموزشی محاسبه کنید . برای اکثر سازمانها‌، بخصوص آنهایی که تجربه و سابقه لازم برای محاسبه ROI را ندارند ، بهتر و عملی تر آن است که هر بار فقط برای یک برنامه آموزشی، ROI را محاسبه کنند .
● مراحل جمع‌آوری، تجزیه و تحلیل داده‌ها
این مرحله شامل چهار گام است.
۱) تفکیک اثرات آموزش
برای تعیین بازگشت سرمایه در آموزش باید قادر باشید تغییراتی را که به عنوان نتیجه آموزش حاصل می شوند را اندازه‌گیری کنید. در نتیجه باید وضعیت عملکرد یا سطح دانش را ، قبل از اینکه آموزش صورت گرفته باشد ، بدانید. اندازه گیری داده های پیش از آموزش باید شامل اشتباهات تکراری ، نسبت ساعتهای کار بر واحد تولید یا خدمات ، هزینه پولی مواد ضایعاتی ، تعداد محصولات برگشتی یا معیوب ، حجم فروشهای از دست رفته ، میزان غیبت ، نرخ ریزش یا بررسی مشکلات (درگیری ، مشاجره و مباحث ) ناشی از رضایت نداشتن مشتری باشد .
تفکیک اثرات آموزش، شامل شناسایی کلیه عوامل کلیدی است که در عملکرد کارکنان و نتایج کسب کار تاثیر می گذارد . گروههای متمرکز ، پرسشنامه ها ، بررسیها و مشاهدات ، جمع آوری این داده ها را تسهیل می کنند و این امر با مشارکت کارکنان ، مدیران ارشد ، سرپرستان ، مشتریان ، فروشندگان و متخصصان آموزش و توسعه منابع انسانی میسر می شود .
۲) تبدیل اثرات آموزش به منافع مادی
اثرات یا منافع یک برنامه آموزشی همیشه باید مشخص و مناسب باشد و هزینه پولی مصرف شده از سوی مدیریت را برگرداند . سرپرستان ، کارآموزان ، روسای قسمتها یا بخشها ، مدیران اجرایی ارشد ، و یا هیئتهای مدیره که در جایگاه بالای سازمان هستند‌، تغییرات در عملکرد یا اثر در لایه پایین سازمان را مشاهده می کنند .
اثرات آموزش می تواند مشهود یا نامشهود باشد که اغلب با اصطلاح « داده سخت» و « داده نرم» ظاهر می شود . داده سخت به صورت کمی ، آماری و عددی است و بسادگی به شکل منافع مادی تفسیر می شود . مانند میزان بهره وری (مقدار یا ارزش بازار )، میزان کیفیت (تعداد ضایعات یا قیمت ضایعات)، ساعات کار هر واحد تولید، ساعات توقف ناشی از خرابی تجهیزات و غیره ، غیبت و زمانهای تاخیر‌، مطالبات پاداش کارگران (نوع و تعداد حوادث یا بیماری ، ایام بیکاری یا کم کاری‌)، تعداد فروش یا قیمت ریالی حاصل از فروش به هر مشتری ، درصد سهم بازار‌، میزان یا شاخص رضایت مشتری و تعداد مشتریان با خرید مجدد . داده نرم کیفی است و به منافع نامشهود که نظری و براساس قضاوت فردی است، مربوط می شود. از این رو اندازه گیری آن به صورت منافع مادی مشکلتر است ، مانند بهبود رضایت شغلی‌، بهبود کار تیمی ، افزایش تعهد سازمانی ، بهبود برنامه ریزی متوالی، افزایش ارتباطات در سطوح مختلف شغلی، شفافیت بیشتر در ارتقای فرصتهای معین و... .
۳) محاسبه هزینه آموزش
مدیران منابع انسانی معمولاً قادر هستند هزینه های یک برنامه آموزشی را ثبت کنند‌. هنگام محاسبه هزینه ها باید دقت شود کلیه هزینه های غیر مستقیم از جمله استفاده از زمان کارکنان ، مواد موجود ، تجهیزات ، کلاس درس و غیره ، فراموش نشود . استفاده از واژه تمام هزینه که اغلب اوقات به کار می‌رود به معنی تعیین هزینه برنامه آموزش شامل هزینه های مستقیم و غیر مستقیم است که
نمونه هایی از آن عبارتند از :
ـ هزینه برگزاری دوره ، تجزیه و تحلیل نیازها ، نوشتن ، نشان دادن ، تست اعتبار بخشی و ابزار ارزشیابی .
ـ حقوق و دستمزد نیروی انسانی ، مدیریت و کارکنان در گیر در طراحی و برگزاری دوره .
ـ حقوق و دستمزد فراگیران .
ـ دستمزد کارکنان موقت یا پیمانی اجرت بگیر برای حفظ بهره وری و یا خدمات رسانی منظم در مدت زمان نبود کارکنان به لحاظ اعزام به آموزش .
ـ کاهش در آمد در موقعی که کارکنان درگیر فعالیت های آموزشی هستند .
ـ تجهیزات و تسهیلات سخت افزاری و نرم افزاری و غیره .
۴) مقایسه ارزش اثرات با هزینه های رخ داده
معادله ROI از میزان منافع و هزینه های رخ داده به شرح زیر استفاده می کند :
ممکن است همیشه اندازه گیری ROI آسان نباشد . در مورد اینکه سازمانها مجموعه‌ای منظم از نوآوری و رشد بازرگانی پس از یک تحلیل دقیق و جامع ازROI به دست می آورند، تردید وجود دارد . اما سازمانها دریافته اند که تغییرات سریع در حال وقوع است و اگر روشهای کاری شان را با تکنولوژی جدید به روز نکنند، شغلشان را از دست خواهند داد .
مباحث زیادی در موردROI وجود دارد‌. آیا شما قادرید بروشنی نشان دهید که این آموزش بوده که رضایت مشتری را تغییر داده است ؟ آیا شما مطمئن هستید که می توانید آموزش را برای بیشتر کارمندان قبل از اینکه برنامه آموزشی متروک شود مهیا کنید؟ آیا شما مطمئن هستید که آموزش عامل بهبود عملکرد کارکنان بوده است یا مدیر جدید ، یا تغییر در برنامه پاداش ؟ چه موقع تصمیم به اندازه گیری نتایج آموزش می کنید ، سه ماه یا شش ماه بعد ؟ زمان منطقی و مفید برای شرکت شما چقدر است ؟
● نتیجه گیری
ارزیابی اثربخشی مداخلات آموزشی ازپیچیده ترین و مبهم ترین و در عین حال ضروری ترین و حیاتی ترین گام های آموزش است. در میان الگوهای متعددی که برای ارزیابی اثربخشی تدوین و طراحی شده است ، الگوی ارزیابی بازگشت سرمایه (ROI) از پیچیدگی و کاربرد بیشتری برخوردار است. این الگو نسبت به سایر الگوها از جامعیت بیشتری برخوردار بوده و برای دستیابی به آن اطلاعات جامعتری نیاز است و به‌تبع آن مراحل متعددتری باید اعمال شود و برهمین اساس برتر از سایر الگوهاست. در کاربرد این الگو برای ارزیابی اثربخشی دوره های آموزشی باید به موارد راهنمای اشاره شده در متن توجه کرد. همچنین به نظر می رسد این الگو برای دوره های بلند مدت نسبت به دوره های کوتاه مدت و برای دوره های فنی – مهارتی نسبت به دوره های شناختی – اداراکی و برای شرکتها و سازمانهای صنعتی و تولیدی نسبت به سازمانهای خدماتی از کاربرد مناسب تری برخوردار باشد .

http://system.parsiblog.com/
روح الله تولایی
منابع
۱ - بولا .اچ . اس، ارزشیابی طرح و برنامه های آموزشی برای توسعه ، ترجمه خدایار ابیلی، چاپ اول ، تهران : موسسه بین الملل روش های آموزش بزرگسالان ،۱۳۷۵ .
۲ - ابیلی، خدایار.«ضرورت ارزشیابی دوره های آموزشی ضمن خدمت در سازمانها »، کنفرانس چهاردهم وزارت فرهنگ و آموزش عالی ، سال سوم شماره ۵ ، ۱۳۷۲.
۳ - ساعتچی، محمود. «فرایند ارزشیابی دوره های آموزشی کارکنان سازمانها» ، فصلنامه مدیریت دولتی‌، دوره جدید شماره ششم .۱۳۶۸
۴ - کیامنش ، علیرضا . روش های ارزشیابی آموزشی‌، چاپ پنجم ،تهران : مرکز چاپ و انتشارات دانشگاه پیام نور ، ۱۳۷۷.
۵- Advanced Design Approach for Personalized Training Interactive Tools.
http://www.adaptit.org/files/ADAPT%۲۰methodology.pdf
۶-Carnevale. A.P, Schulz. E. " Return on investment: Accounting for training ". Training and development journal, ۴۴ (۷), ۱۹۹۰