نباید هرچه می خوانید را باور کنید

پشت پرده ژورنال های اقتصادی

هرچیزی که روی اینترنت می‌خوانید درست نیست. هرچیزی که در نیویورک تایمز می‌خوانید هم درست نیست. پس وقتی مطلبی درباره تحولات علمی می‌خوانید، از کجا باید بدانید که قابل اعتماد است یا خیر؟ شما بخشی به غرایزتان اتکا می‌کنید.

تئوری‌ای که می‌گوید حیات انسان از خاک به وجود آمده قابل اعتماد‌تر است تا آنکه می‌گوید همه ما از پلاستیک درست شده ایم. بخشی منبع خبر را می‌سنجید: یک استاد دانشگاه ‌هاروارد قابل اعتمادتر است تا ظرف شوری که در بروکلین کار می‌کند. بخشی هم به قضاوت حرفه‌ای تکیه می‌کنید: اگر یک ژورنال معتبر علمی حاضر به چاپ تئوری خاکی بودن حیات شده، احتمالا این تئوری اشتباه است.

بله، درست شنیدید. اگر یک ژورنال معتبر علمی نظریه‌ای را چاپ می‌کند، احتمالا آن نظریه اشتباه است. از میان دو تئوری معقول که هریک از منابعی به یک اندازه معتبر آمده باشند و مراحل موشکافی یکسانی را پشت سر گذاشته باشند، آنکه به ژورنال‌های سطح بالا راه می‌یابد شانس کمتری برای درست بودن دارد. دلیلش این است: سردبیران این مجله‌ها بیشتر دوست دارند نظریاتی را چاپ کنند که غافلگیر‌کننده باشند و بهترین راه غافلگیر کردن سردبیر یک ژورنال این است که نظریه‌تان اشتباه باشد.

این بدان معنی نیست که سردبیران این مجلات بی‌ملاحظه‌اند. حداقل در حوزه اقتصاد و ریاضیات (دو رشته‌ای که من می‌توانم با تجربه شخصی درباره شان شهادت بدهم) فرآیند رسیدگی به شدت سختگیرانه است. مدت‌ها پیش از آنکه مقاله‌ای برای چاپ بررسی شود، نویسنده باید آن را میان متخصصان چرخانده و نظریات و نقدهای مختلف را گرفته باشد – فرآیندی که معمولا چندسال طول می‌کشد. تنها پس از آن است که این مقاله‌ به کلی بازبینی شده به طور رسمی برای چاپ ارسال می‌شود و آنجا هم سردبیر، متخصصی را برای داوری خط به خط درباره آن به کار می‌گیرد – این فرآیند هم معمولا یک سالی طول می‌کشد. آیا می‌شود این داورها بی‌دقت یا سر به هوا باشند؟ مطمئنا. درباره مقالات بسیار مهم هم همین وضع است؟ طبق تجربه من خیر. طی چندین مرحله رسیدگی داورها معمولا درباره تمام جزئیات با اهمیت خواستار توضیحات تکمیلی می‌شوند. در موارد زیادی، نویسنده باید مرتب در موسسه محل خدمت داور حاضر باشد تا به خرده‌گیری‌های گاه و بیگاه او پاسخ دهد.

دقیقا همین مساله است که شوخی الن سوکال در ۱۹۹۶ را نفرت انگیز می‌کند. مقاله سوکال که به عمد از منطق، شواهد و حتی معنی تهی شده بود، برای چاپ در ژورنال مطالعات فرهنگی به نام سوسیال تکست پذیرفته شد. درست است که این یک اتفاق نادر بود، اما مقاله به حدی از هرآنچه که در یک سیستم سالم بتواند اتفاق بیفتد به دور بود که حتی بی‌اعتقادی چون من که همواره به دیده شک و تردید به مطالعات فرهنگی نگریسته‌ام را نیز قانع کرد که قید هرگونه اعتقاد را بزنم. در ژورنال‌های اقتصادی جدی ناممکن است که بتوان مقاله‌ای نظیر مقاله‌ سوکال چاپ کرد. اما بعید نیست بتوان مقاله‌ای چاپ کرد که باوجود منطقی بودنش پر اشتباه باشد. به دلیل همان انحرافی که پیش‌تر ذکر کردم: از میان دو مقاله‌ای که فرآیند گزینش را طی کرده باشند سردبیران ترجیح می‌دهند مقاله‌ای را برگزینند که غافلگیر‌کننده‌تر باشد؛ یعنی به طور معمول مقاله‌های اشتباه‌تر را ترجیح می‌دهند.

در روزنامه‌ها هم فرآیند مشابهی وجود دارد. «انسانی سگی را گاز گرفته است» خبر بهتری است تا «سگی انسانی را گاز گرفته است»، با این وجود حتی اگر منبع هر دو خبر هم یکسان باشد احتمال اشتباه بودن اولی بیشتر است. به طور کلی – و این را دوره‌های آمار دانشگاهی می‌گویند – وقتی فکر می‌کنید شاهد پدیده‌ای غیرعادی بوده‌اید احتمال در اشتباه بودنتان بیشتر است تا وقتی که پدیده‌ای صرفا عادی را دیده‌اید. اما همین حوادث غیرعادی هستند که تیتر صفحه اول روزنامه‌ها می‌شوند.

چند سال قبل دو استاد اقتصاد به نام‌های جی. بردفورد دی لانگ و کوین لنگ راهی نبوغ آمیز برای تشخیص فرضیه‌های درست اقتصادی در میان مقالات چاپ شده در ژورنال‌ها پیدا کرده‌اند. آنها ژورنال‌های سطح بالای اقتصادی را برای چندین سال بررسی کرده و ۷۸ فرضیه را که با شواهد قوی تایید می‌شده‌اند، یافته‌اند – از آن نوع شواهدی که باعث شده بود نویسندگان فرضیه‌های خود را بپذیرند. (۱۹۸ فرضیه دیگر توسط نویسندگان شان رد شده بود.) در هیچ کدام از این ۷۸ مورد تایید فرضیه را نمی‌توان قاطع دانست.

قاطع نبودن قابل اغماض است. شواهد قوی، حتی اگر قاطعیت نداشته باشند، همچنان قوی اند. در بسیاری موارد قطعی بودن شواهد دور از ذهن است، زیرا یافتن و تفسیر چنین شواهدی بسیار دشوار است. بنابراین هیچ مقاله‌ای را نمی‌توان به خاطر دست نیافتن به استانداردهای آرمانی سرزنش کرد.

با این وجود دی لانگ و لنگ می‌گویند در میان این ۷۸ فرضیه هستند مواردی که بسیار قاطع باشند. در واقع آنها قطعیت را معنا می‌کنند، چون از تمام فرضیه‌های درست تنها ۱۰ درصدشان به این دسته راه پیدا می‌کنند. بنابراین اگر ۷۸ فرضیه درست داشته باشیم، یعنی ۸/۷– شما بگویید ۸ تا – از آنها باید با قطعیت تایید شوند. اما نمی‌شوند. شاید بگویید که خب، هر ۷۸ فرضیه ابتدایی درست نبوده و مثلا ۵۰ تا از آنها درست بوده است. در این صورت هم باید حداقل ۵ فرضیه با قطعیت تایید شود. یا اگر سی تا فرضیه درست داشته باشیم، سه تا از آنها باید تایید شود. اما مشکل اینجاست که دقیقا هیچ کدام از آنها با قطعیت تایید نمی‌شوند، ده درصد از هیچ! بنابراین به نظر می‌رسد که از ۷۸ فرضیه تایید شده، هیچ کدام از آنها درست نیستند. دی‌لانگ و لنگ با وارد کردن پیچش‌هایی در همین تکنیک، به این نتیجه رسیدند که تنها یک سوم از ۷۸ فرضیه تایید شده ممکن است درست باشند. به عبارت دیگر، وقتی مقاله‌ای در ژورنالی سطح بالا چاپ می‌شود که ادعای درست بودن فرضیه‌اش را دارد، احتمالا اشتباه می‌کند. خیلی جالب خواهد بود که همین تجربه را درباره ژورنال‌های پزشکی هم آزمون کنیم. من به شخصه بسیار متعجب خواهم شد اگر نتایج تفاوت آنچنانی داشته باشند.

اگر مطالب این مقاله باعث می‌شود نسبت به پیشرفت علم بدبین شوید، در نظر داشته باشید که حتی با تعداد خیلی کمی فرضیه‌ درست درمیان سیل فرضیه‌های غلط هم ما می‌توانیم چیزهای بسیاری یاد بگیریم. روزنه‌ امید دیگری هم وجود دارد: نتایج تحقیق دی‌لانگ و لنگ در ژورنال بسیار معتبر پولوتیکال اکونومی چاپ شده است و خب همین می‌تواند دلیلی باشد بر اشتباه بودن یافته‌های آنها!

استیون لندزبرگ

مترجم: مجید روئین پرویزی