研究可靠性在科學(xué)討論中日益成為一個(gè)關(guān)鍵話題。在我們最近的文章中(Lin等人,2024年,表1),我們指出了心理學(xué)(36%,開放科學(xué)合作組織,2015年,“抽樣框架和研究選擇”部分第1段)、社會(huì)科學(xué)(62%,Camerer等人,2018年,第639-640頁(yè))、生物醫(yī)學(xué)(42%,Errington等人,2021年,表1)以及經(jīng)濟(jì)學(xué)(61%,Camerer等人,2016年,第1頁(yè))領(lǐng)域中重復(fù)實(shí)驗(yàn)的成功率較低,這表明人們對(duì)研究可靠性存在普遍擔(dān)憂。為了提高研究結(jié)果的可靠性,已經(jīng)提出了多種方法,例如確保報(bào)告的透明度(Halperin等人,2018年,“科學(xué)透明度不足”部分)、通過承認(rèn)所有結(jié)果都具有不確定性來(lái)減少選擇性報(bào)告(Amrhein等人,2019年,第3部分第5段)、遵循精確的引用規(guī)范(Lin & Hung,2022年),以及增加樣本量(Schweizer & Furley,2016年)。其中,以注冊(cè)報(bào)告格式發(fā)表研究被認(rèn)為是一種特別有前景的方法。
目前形式的注冊(cè)報(bào)告,如開放科學(xué)框架所規(guī)定的(
https://www.cos.io/initiatives/registered-reports ),需要滿足兩個(gè)基本標(biāo)準(zhǔn):(1)第一階段的注冊(cè)報(bào)告,包括引言和方法部分,需經(jīng)過同行評(píng)審;(2)一旦第一階段報(bào)告獲得批準(zhǔn),該研究必須獲得學(xué)術(shù)期刊的原則性接受。第一個(gè)標(biāo)準(zhǔn),即在研究開始前進(jìn)行同行評(píng)審,使作者能夠完善他們的方法論并識(shí)別在制定研究問題時(shí)可能存在的問題。此外,通過在結(jié)果已知之前評(píng)估研究質(zhì)量,可以防止對(duì)積極研究結(jié)果的偏見(Mahoney,1977年,表1)。
注冊(cè)報(bào)告格式的另一個(gè)標(biāo)準(zhǔn)——原則性接受,對(duì)于提高研究完整性尤為重要。只有當(dāng)研究遵循批準(zhǔn)的第一階段報(bào)告時(shí)才保證發(fā)表,這一標(biāo)準(zhǔn)減少了研究人員為了獲得積極結(jié)果或構(gòu)建聳人聽聞的結(jié)論而采取可疑做法的動(dòng)機(jī)(Amrhein等人,2019年;Chambers等人,2015年,第2段)。這種方法解決了Fanelli(2012年,結(jié)果部分)指出的一個(gè)關(guān)鍵問題,即許多統(tǒng)計(jì)上不顯著的研究結(jié)果往往未被報(bào)告。此外,注冊(cè)報(bào)告格式要求在第一階段報(bào)告中公開研究方案,迫使作者透明地報(bào)告任何與初始計(jì)劃的偏差。在注冊(cè)報(bào)告格式中公開研究方案可以防止對(duì)統(tǒng)計(jì)分析的操縱。雖然它不能直接防止這種操縱,但它通過允許他人審查方法論來(lái)提高透明度。這使得將最終發(fā)表的文章與原始方案進(jìn)行比較成為可能。例如,有人建議注冊(cè)報(bào)告有助于區(qū)分探索性/事后分析和確認(rèn)性/前瞻性分析(Chambers & Tzavella,2022年,“高質(zhì)量注冊(cè)報(bào)告的七個(gè)優(yōu)點(diǎn)”最后一段)。
實(shí)證研究表明,與傳統(tǒng)報(bào)告相比,注冊(cè)報(bào)告的質(zhì)量更高。Soderberg等人(2021年)在心理學(xué)和神經(jīng)科學(xué)領(lǐng)域找到了之前的注冊(cè)報(bào)告,然后從傳統(tǒng)出版物中選擇了匹配的文章。在對(duì)這些文章進(jìn)行編碼后,他們將注冊(cè)報(bào)告和匹配的文章發(fā)送給其他研究人員進(jìn)行評(píng)審(Soderberg等人,2021年,摘要)。研究結(jié)果突出了注冊(cè)報(bào)告的三個(gè)關(guān)鍵特征:首先,平均而言,注冊(cè)報(bào)告的研究質(zhì)量被認(rèn)為高于傳統(tǒng)發(fā)表的研究(Soderberg等人,2021年,圖1);其次,注冊(cè)報(bào)告的發(fā)表格式不會(huì)削弱研究的創(chuàng)造性(Soderberg等人,2021年,圖1);第三,與傳統(tǒng)發(fā)表的報(bào)告相比,注冊(cè)報(bào)告的積極結(jié)果率較低(Scheel等人,2021年,圖2)。這些發(fā)現(xiàn)表明傳統(tǒng)出版物中積極結(jié)果的比例過高,特別是在運(yùn)動(dòng)和運(yùn)動(dòng)科學(xué)等特定領(lǐng)域,需要進(jìn)一步調(diào)查。
因此,本研究基于Fanelli(2012年)和Scheel等人(2021年)的方法論,并對(duì)其方法進(jìn)行了調(diào)整,以更好地適應(yīng)運(yùn)動(dòng)和運(yùn)動(dòng)科學(xué)領(lǐng)域。除了應(yīng)用他們的示范方法外,我們還解決了他們開創(chuàng)性工作中存在的三個(gè)局限性。我們研究與Scheel等人工作的第一個(gè)顯著區(qū)別在于用于識(shí)別相關(guān)注冊(cè)報(bào)告的方法。在他們有影響力的工作中(Scheel等人,2021年,圖1),Scheel等人利用開放科學(xué)中心來(lái)查找心理學(xué)領(lǐng)域的注冊(cè)報(bào)告。然而,一些期刊,如《運(yùn)動(dòng)與鍛煉心理學(xué)》(PSE),因?qū)⒌谝浑A段注冊(cè)報(bào)告作為獨(dú)立文章發(fā)表而值得稱贊(例如,McNeill等人,2020年),從而鼓勵(lì)了這種類型的提交。在這種情況下,將第一階段報(bào)告提交給開放科學(xué)中心(開放科學(xué)框架)可能是可選的,這可能導(dǎo)致這些報(bào)告在數(shù)據(jù)庫(kù)搜索中被遺漏。需要注意的是,期刊正式采用注冊(cè)報(bào)告格式并不能保證有大量或任何使用這種格式發(fā)表的文章。為了解決這一限制和知識(shí)空白,我們采用了類似于標(biāo)準(zhǔn)系統(tǒng)評(píng)價(jià)的方法。這使我們能夠識(shí)別盡可能多的符合條件的研究,并追溯到它們發(fā)表的期刊。
第二個(gè)區(qū)別在于我們的抽樣方法。盡管Scheel等人選擇了2013-2018年間心理學(xué)領(lǐng)域的隨機(jī)樣本,但他們沒有將傳統(tǒng)研究的數(shù)量設(shè)置為與注冊(cè)報(bào)告的數(shù)量成比例。考慮到對(duì)零結(jié)果的接受率可能會(huì)隨時(shí)間變化,我們認(rèn)為使用基于每年識(shí)別出的注冊(cè)報(bào)告比例的分層隨機(jī)選擇方法,可以在這兩種出版格式之間進(jìn)行更公平的比較。第三個(gè)差異在于假設(shè)分析的范圍。Scheel等人僅專注于檢查他們選定文章中提出的第一個(gè)假設(shè),而我們的方法不僅遵循這一慣例,還進(jìn)一步擴(kuò)展了它,匯編了每篇文章中的所有假設(shè)。這種包容性的方法確保了提出多個(gè)假設(shè)的情況得到充分捕捉和分析,可能會(huì)產(chǎn)生更全面的見解。
關(guān)于樣本量的確定,我們的方法與Twomey等人(2021年)在運(yùn)動(dòng)學(xué)領(lǐng)域使用的方法不同。Twomey及其同事從三個(gè)選定的期刊中各抽取了100篇文章(Twomey等人,2021年,第2-a段),預(yù)計(jì)其中60%的文章會(huì)包含假設(shè)檢驗(yàn)(Twomey等人,2021年,第2-d段)。然而,他們發(fā)現(xiàn)不同期刊中假設(shè)檢驗(yàn)的普及率在46%到74%之間(Twomey等人,2021年,第2-b-iii段)。相比之下,我們的研究旨在根據(jù)文章的發(fā)表年份和期刊來(lái)抽取樣本。為了確保有足夠的樣本進(jìn)行比較,我們計(jì)劃按照指定的隨機(jī)順序繼續(xù)篩選,直到找到100篇包含假設(shè)檢驗(yàn)的文章。更多細(xì)節(jié)請(qǐng)參見方法部分。
根據(jù)Scheel等人的結(jié)果,本研究需要至少包含8到10篇注冊(cè)報(bào)告,以便對(duì)100篇傳統(tǒng)文章進(jìn)行有意義的統(tǒng)計(jì)推斷(詳見方法部分中的樣本量理由)。然而,本研究在因果推斷方面面臨一個(gè)根本性的限制,這不能僅通過增加樣本量來(lái)解決。在運(yùn)動(dòng)和運(yùn)動(dòng)科學(xué)等經(jīng)常包含實(shí)證研究的領(lǐng)域,發(fā)表注冊(cè)報(bào)告的文章及其被歸類為注冊(cè)報(bào)告的文章只占所有研究的一小部分(Lin等人,2024年,圖1和附錄3)。因此,注冊(cè)報(bào)告與傳統(tǒng)文章之間的任何觀察到的特征差異——例如注冊(cè)報(bào)告通常設(shè)計(jì)更好——不能直接歸因于出版格式。很可能選擇采用注冊(cè)報(bào)告格式的作者更重視研究方法論。通過采用注冊(cè)報(bào)告提高研究質(zhì)量以及作者傾向于重視嚴(yán)謹(jǐn)?shù)难芯吭O(shè)計(jì)這兩個(gè)因素可能是真實(shí)的;然而,這些因素的程度和影響在本研究中無(wú)法評(píng)估,因?yàn)楸狙芯績(jī)H提供了關(guān)聯(lián)數(shù)據(jù)。
本研究旨在(1)量化與運(yùn)動(dòng)和運(yùn)動(dòng)科學(xué)相關(guān)的已發(fā)表注冊(cè)報(bào)告的數(shù)量,(2)評(píng)估其中有多少使用了假設(shè)檢驗(yàn),(3)比較使用假設(shè)檢驗(yàn)的注冊(cè)報(bào)告與傳統(tǒng)出版物中積極結(jié)果的比例。我們假設(shè)運(yùn)動(dòng)和運(yùn)動(dòng)科學(xué)領(lǐng)域注冊(cè)報(bào)告中的積極結(jié)果率低于傳統(tǒng)發(fā)表的研究。