可惜的是，一個問題應用了科學研究方法並不必然就意味著研究證據就是可靠的，或者對於證據含義的解釋就準確無誤。如同訴諸任何來源作為證據一樣，訴諸科學研究的證據也需要謹慎對待。同時，有些問題，尤其是那些關注人類行為的問題，哪怕有最好的證據證明，我們也只能嘗試著去進行解答。因此，對於研究報告而言，我們還要提出很多重要的問題，這樣才能決定它們的結論到底有多大的可信度。
當持論者訴諸科學研究作為證據來源，我們應該記住以下幾點：
（1）研究的質量有高有低，差別很大。有的研究精耕細作，有的研究偷工減料，我們自然更應該相信前者。因為研究過程太過複雜，而且受到太多的外來因素影響，哪怕是訓練有素的研究人員，有時所做的研究也難免存在重大不足，在科學刊物上發表文章並不能確保這項科學研究就沒有重大缺陷。
（2）研究成果常常會互相矛盾。因此，一旦脫離了研究某一具體問題的研究群所有研究的大環境，單一的研究所呈現的常常是引起誤導的結論。最值得我們注意的研究結果是那些不止一個人或者是一群研究人員反覆做過的研究。有很多斷言從來沒有被重新驗證過，有很多斷言重新驗證以後得出的結果不能重複其原始的結論。比如說，最近發表在一份聲望很高的醫學雜誌上的研究結果，對宣稱成功進行過醫學干預的那些備受重視的研究斷言重新加以檢測，結果有令人信服的結論表明，原來的斷言中有41%都是錯誤的，或者有人為的妄自誇大存在[1]。我們需要不斷追問以下這個問題：「其他的研究人員有沒有核實過這些發現？」
（3）研究結果並不能證明結論。充其量它只能支撐結論。這些研究結果本身並不足以說明問題。研究人員總是要解釋他們的科學發現的意義，而所有的科學發現都可以找到不止一種的解釋方法（參見第7章）。因此，研究人員的結論不應該被當成證明了的「真理」。當你遇到「研究結果表明……」這樣的表述，你應該重新將其解讀為「研究人員解釋他們的研究結果是表明了……」
（4）如同我們大家一樣，研究人員也有他們的期望值、態度、價值觀和需求，這使他們所問的問題、做研究的方法、解釋研究結果的方式都烙上了偏見的印記。例如，科學家通常都對某個特定的假說投入大量的感情。如果美國食糖研究所（American Sugar Institute）支付你的暑期研究津貼，那麼你就很難發現青少年過量消費食糖的問題。好像所有容易犯錯的人一樣，科學家也可能會發現，要客觀對待那些和他們相信的假說相衝突的數據是異常困難的。科學研究一個主要的長處就在於它總是盡力將程序和結果公開化，這樣其他人就可以判斷研究的優缺點，然後可以進行驗證。但是，不論一個科學報告看上去顯得多麼客觀，還是難免會夾雜了重要的主觀因素。
（5）作者或演說者常常歪曲或者簡化研究結論。主要的分歧常常發生在原始研究得來的結論和使用這個證據來支持持論者的看法之間。例如，研究人員可能在其原始研究報告中仔細限定了他們的結論，只不過結論到了他人手裡，這些限定馬上就被拿掉了。
（6）研究的「事實」會隨著時間的流逝而發生改變，尤其是關於人類行為的那些斷言。比如，下面的研究「事實」都在主流科學資料來源上報道過，但是都被最近的研究證據所駁倒：
·百憂解、左洛復和帕羅西汀對於大部分抑鬱症患者來說醫療效果要比安慰劑好得多。
·吃魚肝油、鍛煉身體、做智力遊戲能有效抵抗老年癡呆症。
·麻疹疫苗可引起孤獨症。
（7）研究的人為程度到底怎麼樣常常也會導致研究的變化。常常是為了達到控制實驗的目的，使得研究失去了一部分現實世界的特徵。研究的人為因素越多，就越難將研究結論推廣到外部世界去。研究的人為因素問題在研究複雜的社會行為時變得尤其明顯。例如，社會科學家會讓人們坐在一間房間裡，裡面有電腦可以打遊戲，主要為了測試人們的推理過程。研究人員盡力要理解為什麼當人們面對不同場景時會做出不同決定。但是，我們應當問：「一邊坐在電腦前一邊通過假想的情境來思考，是不是太過於矯揉造作，其實根本就不能告訴我們人們在面臨真實的兩難處境時做出決斷的方法？」
（8）對經濟效益、社會地位、人身安全和其他因素的需求可能會影響到研究的結果。研究人員也是人，不是電腦，因此要他們做到百分百的客觀是極其困難的。比如說，研究人員想通過他們的研究來發現某個特定結果，這樣他們就會按照心中所想的來解釋研究結果，以便能發現他們想要的結果。獲得資助、職位或其他個人獎勵，這些壓力可能會最終影響到研究人員解讀數據的方式。例如，一家製藥公司出錢贊助一個項目，主要研究使用這家公司的藥物來進行藥物干預的結果，比其研究同樣的藥物但是受到與那家製藥公司無關的資助，如聯邦政府基金的資助，這項研究更傾向於得出較高比率的正面結果。
科學研究作為證據現在你發現，儘管研究證據有很多積極正面的特徵，我們還是要避免過早地去擁抱研究結論。但是，你也不能僅僅因為有一絲疑雲，就武斷地拋棄一個建立在科學基礎上的結論。「必然發生」常常只是個不可企及的目標，但並不是所有的結論都同樣不可捉摸，我們應該時刻準備去擁抱其中某些結論，而拋棄其他一些結論。因此，當我們批判性地評價研究結論的時候，請小心不要犯這樣的推理錯誤，在有些結論中強求確定性，而我們明明只能從中得出一些並不能否定這一結論的不確定性。我們把這一推理錯誤稱為強求確定性謬誤[2]（impossible certainty fallacy）。
評價科學研究的一些線索
將以下這些問題應用到科學發現中，以此來判斷這些發現是不是可靠的證據。
（1）報告的資料來源的質量怎麼樣？通常情況下，最可靠的報告往往出自那些發表在由同行專家評定的期刊上的文章，在這些期刊中，一項研究結果只有被一系列相關專家評價過以後才會被接受。通常情況下，但也不總是這樣，資料來源的聲譽越好，研究設計也就越好。所以要竭盡全力找出資料來源的聲譽如何。
（2）除了資料來源的質量外，交流中有沒有其他的線索顯示這項研究完成得很出色？比如，報告有沒有詳細說明這項研究有什麼特別的過人之處？可惜，我們在流行雜誌、報紙、電視報道和博客裡遇到的絕大部分關於研究結果的報告都沒有提供足夠的細節來說明此項研究，以確保我們對於這項研究質量的評價。
（3）研究進行的時間離現在有多久，有沒有理由讓人相信研究結果可能會隨著時間的流逝而發生改變？很多研究結果會隨著時間的流逝而發生改變。例如，有關抑鬱症、犯罪或者心臟病的起因在20世紀80年代可能和在2010年看起來大不相同。
（4）這項研究的結果有沒有被其他的研究重複過？如果某一種聯繫總是在精密設計的研究中不斷被重複並且總是前後一致地被發現——比如吸煙和癌症之間的聯繫——那麼我們就有理由相信它，至少在那些不同意這一結論的人能提供較有說服力的證據來證明他們的觀點之前，我們都會相信它。
（5）持論者在選擇研究的時候是怎樣精挑細選的？比如，有沒有得出相反結論的相關研究被他忽略不計？研究人員是不是只選擇那些支持他的觀點的研究？
（6）有沒有什麼強勢批判性思維的證據？作者或演說者對於先前那些支持他的觀點的研究有沒有表現出一種批判的態度？由於研究條件的限制，研究得到的大部分結論都需要進一步的證明。持論者有沒有表現出要進一步加以證明的意願？
（7）有沒有理由讓人蓄意要歪曲這項研究？我們要當心研究人員亟須找到特定結果的那些情況。
（8）研究的條件是不是人為製造的並因此遭到扭曲變形？記住一定要問一聲：「研究進行的客觀條件和研究者概括的情境到底有多少相似之處？」
（9）根據研究樣本，我們概括的範圍到底有多大？因為這個問題非常重要，我們將在下一部分深入討論。
（10）研究人員所使用的調查報告、問卷調查、等級評定或其他測量結果有沒有偏見或者歪曲的現象存在？我們應該相信研究人員想要測量的東西他們一定會測量得準確無誤。但是片面的調查報告和問卷調查這一問題在科學研究中簡直無孔不入，我們只有在後面部分詳細加以討論。
[1]\"Lies, Damned Lies, and Medical Science\"，November 2010，Atlantic Magazine.
[2]強求確定性謬誤指認為一個研究結論如果不是百分百確定的話就應該被拋棄。