Paths and countermeasures for improving reproducibility of scientific research methods

doi:10.11946/cjstp.202312100986

Chinese Journal of Scientific and Technical Periodicals ›› 2024, Vol. 35 ›› Issue (6): 746-754. doi: 10.11946/cjstp.202312100986

Previous Articles Next Articles

Paths and countermeasures for improving reproducibility of scientific research methods

YE Xiyan¹^,^2）()(), LIU Wei¹^,^2）, HOU Chunmei¹^,^2）, LIU Yu^3）, HE Haoyu¹^,^2）, MA Hanqing¹^,^2）^,^*()()

1) Northwest Institute of Eco-Environment and Resources, Chinese Academy of Sciences, 8 Middle Tianshui Road, Chengguan District, Lanzhou 730000, China
2) Key Laboratory of Knowledge Computing and Intelligent Decision, 8 Middle Tianshui Road, Chengguan District, Lanzhou 730000, China
3) Journal Publishing Center of Tsinghua University Press Co., Ltd., 30 Shuangqing Road, Haidian District, Beijing 100084, China

Received:2023-12-10 Revised:2024-04-16 Online:2024-06-15 Published:2024-07-04

科学研究方法可重复性提升路径及对策建议

叶喜艳¹^,^2）()(), 刘蔚¹^,^2）, 侯春梅¹^,^2）, 刘宇^3）, 贺郝钰¹^,^2）, 马瀚青¹^,^2）^,^*()()

1）中国科学院西北生态环境资源研究院，甘肃省兰州市城关区天水中路8号　730000
2）甘肃省知识计算与决策智能重点实验室，甘肃省兰州市城关区天水中路8号　730000
3）清华大学出版社有限公司期刊中心，北京市海淀区双清路30号　100084

通讯作者: *马瀚青（ORCID：0000-0003-2852-7683），博士，编辑，E-mail：mahq@llas.ac.cn。
作者简介:
叶喜艳（ORCID：0000-0001-6466-0428），硕士，编辑，E-mail：yexy@lzb.ac.cn
刘蔚，博士，研究员
侯春梅，硕士，编审
刘宇，硕士，编辑
贺郝钰，硕士，副编审。
作者贡献声明: 叶喜艳:策划选题，构思框架，撰写和修订论文； 刘　蔚，侯春梅:指导研究； 刘　宇:调研国内研究现状，完成调研报告； 贺郝钰:修订论文； 马瀚青:完善研究思路，修订论文。
基金资助:
2023—2024年度中国科学技术期刊编辑学会基金项目“科学数据关联研究方法开放共享与出版研究”(cessp-2023-B-05); 中国科学院自然科学期刊编辑研究会研究课题“期刊论文研究方法开放共享与可重复性研究”(YJH202325)

Abstract

Abstract:

[Purposes] This study aims to analyze the paths of improving the reproducibility of scientific research methods and provide a reference for the construction of open sharing and reproducibility improvement of scientific research methods in China. [Methods] We mainly used literature research, case analysis, comparative analysis, and expert consultation to conduct case studies on the paths of improving reproducibility. [Findings] The reproducibility of research methods can be improved in terms of shared content, structured and normalized features, review procedures, detection and evaluation, research resource certification, participation, extendibility, etc. [Conclusions] It is recommended that Chinese scientific journals establish column special issues on research methods or establish methodological journals to share all the details of research methods and promote the structuring and normalization of shared content of research methods. It is recommended that scientific journals should strengthen their cooperation with third-party platforms, conduct standard procedural reviews of research methods, enhance automatic detection and evaluation of metadata, and conduct research resource certification. At the same time, scientific journals should also enhance the participation and extendibility of research methods to promote the sharing and collaboration of research methods and improve the reproducibility of scientific research methods. In addition, it is suggested that China should actively prepare reproducibility research institutions, initiate corresponding scientific research projects, gradually improve relevant policies and evaluation mechanisms, and encourage more journals and knowledge platforms to actively participate in the development of reproducibility construction.

Key words: Research method, Reproducibility, Open sharing, Detection and evaluation, Open science

摘要：

【目的】 分析科学研究方法可重复性提升路径，为我国科学研究方法的开放共享与可重复性建设提供借鉴。【方法】 主要采用文献调研法、案例分析法、对比分析法和专家咨询法等开展可重复性提升路径案例研究。【结果】 可以从研究方法共享的内容、结构化标准化特征、审查程序、检测评估、研究资源认证及其可参与度和可扩展性等方面提升研究方法的可重复性。【结论】 建议我国科技期刊开设研究方法专栏专刊，或创办方法类期刊，共享研究方法的所有细节，推进研究方法共享内容的结构化和标准化。建议科技期刊加强与第三方平台的合作，对研究方法进行标准程序审查，加强元数据的自动化检测评估，并进行研究资源认证，同时增强研究方法的可参与度和可扩展性，以促进研究方法的共享与协作，提升科学研究方法的可重复性。此外，建议积极筹备我国可重复性研究机构，启动相应科研项目，逐步完善相关政策和评价机制，让更多的期刊和知识平台积极参与可重复性建设的发展。

关键词: 研究方法, 可重复性, 开放共享, 检测评估, 开放科学

YE Xiyan, LIU Wei, HOU Chunmei, LIU Yu, HE Haoyu, MA Hanqing. Paths and countermeasures for improving reproducibility of scientific research methods[J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(6): 746-754.

叶喜艳, 刘蔚, 侯春梅, 刘宇, 贺郝钰, 马瀚青. 科学研究方法可重复性提升路径及对策建议[J]. 中国科技期刊研究, 2024, 35(6): 746-754.

/ / Recommend / Download Citations

URL: https://www.cjstp.cn/EN/10.11946/cjstp.202312100986

https://www.cjstp.cn/EN/Y2024/V35/I6/746

Figures/Tables 6

References 39

［1］	Goodman S N， Fanelli D， Ioannidis J P A. What does research reproducibility mean?［J］. Science Translational Medicine， 2016, 8(341):341ps12.
［2］	Hughes B T， Niemann A， Tritz D， et al. Transparent and reproducible research practices in the surgical literature［J］. Journal of Surgical Research， 2022, 274:116-124. doi: 10.1016/j.jss.2021.09.024 pmid: 35150944
［3］	Downing S M. Reliability：On the reproducibility of assessment data［J］. Medical Education， 2004, 38(9):1006-1012. doi: 10.1111/j.1365-2929.2004.01932.x pmid: 15327684
［4］	Chalmers I， Glasziou P. Avoidable waste in the production and reporting of research evidence［J］. The Lancet， 2009, 374(9683):86-89.
［5］	Nosek B A， Ebersole C R， DeHaven A C， et al. The preregistration revolution［J］. Proceedings of the National Academy of Sciences of the United States of America， 2018, 115(11):2600-2606. doi: 10.1073/pnas.1708274114 pmid: 29531091
［6］	Kerr N L. HARKing：Hypothesizing after the results are known［J］. Personality and Social Psychology Review， 1998, 2(3):196-217. doi: 10.1207/s15327957pspr0203_4 pmid: 15647155
［7］	Baker M. 1，500 scientists lift the lid on reproducibility［J］. Nature， 2016, 533(7604):452-454.
［8］	Leichtmann B， Nitsch V， Mara M. Crisis ahead? Why human-robot interaction user studies may have replicability problems and directions for improvement［J］. Frontiers in Robotics and AI， 2022, 9:838116.
［9］	Biagioli M. Before and after photoshop：Recursive fraud in the age of digital reproducibility［J］. Angewandte Chemie International Edition， 2019, 58(46):16334-16335.
［10］	Romero F. The division of replication labor［J］. Philosophy of Science， 2020, 87(5):1014-1025.
［11］	Bergman R G， Danheiser R L. Reproducibility in chemical research［J］. Angewandte Chemie International Edition， 2016, 55(41):12548-12549.
［12］	Hensel W M. Double trouble? The communication dimension of the reproducibility crisis in experimental psychology and neuroscience［J］. European Journal for Philosophy of Science， 2020, 10(3):44.
［13］	朱晶. 认知劳动分工视角下的科学合作与集体知识［J］. 哲学动态， 2020(3):111-118.
［14］	Open Science Collaboration. Estimating the reproducibility of psychological science［J］. Science， 2015, 349(6251):eaac4716.
［15］	Hagger M S， Chatzisarantis N L D， Alberts H， et al. A multilab preregistered replication of the ego-depletion effect［J］. Perspectives on Psychological Science， 2016, 11(4):546-573. doi: 10.1177/1745691616652873 pmid: 27474142
［16］	Jäger L A， Mertzen D， van Dyke J A， et al. Interference patterns in subject-verb agreement and reflexives revisited：A large-sample study［J］. Journal of Memory and Language， 2020, 111:104063.
［17］	Klein R A， Vianello M， Hasselman F， et al. Many labs 2：Investigating variation in replicability across samples and settings［J］. Advances in Methods and Practices in Psychological Science， 2018, 1:443-490.
［18］	Nieuwland M S， Politzer-Ahles S， Heyselaar E， et al. Large-scale replication study reveals a limit on probabilistic prediction in language comprehension［J］. eLife， 2018, 7:33468.
［19］	Vasishth S， Mertzen D， Jäger L A， et al. The statistical significance filter leads to overoptimistic expectations of replicability［J］. Journal of Memory and Language， 2018, 103:151-175.
［20］	Stack C M H， James A N， Watson D G. A failure to replicate rapid syntactic adaptation in comprehension［J］. Memory & Cognition， 2018, 46(6):864-877.
［21］	Laurinavichyute A， Yadav H， Vasishth S. Share the code，not just the data：A case study of the reproducibility of articles published in the Journal of Memory and Language under the open data policy［J］. Journal of Memory and Language， 2022, 125:104332.
［22］	孔祥辉. 欧美研究型大学图书馆可重复性专题服务调查研究［J］. 图书馆工作与研究， 2022(11):37-45.
［23］	朱晶. 科学实践与合作网络中的可重复性问题［J］. 自然辩证法研究， 2022, 38(11):30-36.
［24］	Methods：About the journal［EB/OL］. ［ 2023-05-27］. https://www.sciencedirect.com/journal/methods. URL
［25］	Nature Methods：About the journal［EB/OL］. ［ 2023-05-27］. https://www.nature.com/nmeth/aims. URL
［26］	Methods X：About the journal［EB/OL］. ［ 2023-05-27］. https://www.sciencedirect.com/journal/methodsx. URL
［27］	Bring structure to your research：A secure platform for developing and sharing reproducible methods［EB/OL］. ［ 2023-05-27］. https://www.protocols.io/features. URL
［28］	SciScore^TM is the best methods review tool for scientific articles［EB/OL］. ［ 2023-11-27］. https://sciscore.com/. URL
［29］	Cost-benefit analysis for FAIR research data-Cost of not having FAIR research data［EB/OL］. ［ 2023-05-27］. https://data.europa.eu/doi/10.2777/02999. URL
［30］	Buckheit J B， Donoho D L. WaveLab and reproducible research［M］// Antoniadis A， Oppenheim G. Wavelets and Statistics. New York： Springer， 1995:55-81.
［31］	Nüst D， Eglen S J. Codecheck：An open science initiative for the independent execution of computations underlying research articles during peer review to improve reproducibility［J］. F1000Research， 2021, 10:253.
［32］	Springer Nature continues open research drive with acquisition of protocols.io［EB/OL］. ［ 2023-05-27］. https://group.springernature.com/gp/group/media/press-releases/publisher-acquires-protocolsio-driving-open-research/25844774. URL
［33］	MDAR-report［EB/OL］. ［ 2023-05-27］. https://sciscore.com/reports/MDAR-Report.php. URL
［34］	STAR-report［EB/OL］. ［ 2023-05-27］. https://sciscore.com/reports/STAR-Report.php. URL
［35］	STAR-methods［EB/OL］. ［ 2023-05-27］. https://www.cell.com/star-methods. URL
［36］	About RRID［EB/OL］. ［ 2023-05-27］. https://dknet.org/about/rrid. URL
［37］	SciScore report［EB/OL］. ［ 2023-05-27］. https://www.scicrunch.com/sciscorereport-faq. URL
［38］	陈序文，姚长青，雷雪. 学术出版视角下科研成果可重复性保障机制研究［J］. 中国科技期刊研究， 2023, 34(11):1451-1457. doi: 10.11946/cjstp.202307310568
［39］	孟美任，彭希珺. 论文数据可重复性问题剖析及一种解决方案［J］. 中国科技期刊研究， 2021, 32(3):397-402. doi: 10.11946/cjstp.201910010677

序号	调研对象	网址	相关介绍
1	protocols.io	https://www.protocols.io/	protocols.io是一个用于创建和分享可重复科研方法的安全平台，除了提供实验方案托管服务，该平台还能让研究人员在上面撰写和分享最新的研究方法，以支持更大限度和更高效的合作与创新
2	Codecheck	https://codecheck.org.uk/	Codecheck是一个代码审查平台，利用代码审查标准工作流程、操作指南、工具等，支持代码审查员对支撑科学论文的计算机程序进行审查和评估，是提升代码可重复性的主要解决方案之一
3	F1000Research	https://f1000research.com/	F1000Research 是一个面向所有学科领域研究人员的开放研究出版平台。通过快速发表、透明的发表后同行评议以及Scopus和PubMed索引，提升科研人员的影响力
4	SciScore	https://sciscore.com/	SciScore主要针对生物医学领域的研究进行自动化检测评估。SciScore根据论文方法部分包含的受试者性别、知情情况、随机性信息，以及所有研究资源的目录号和研究资源识别码（Research Resource Identifier，RRID）的陈述预期设定，对所有论文进行1~10分的评分
5	RRID	https://scicrunch.org/resources	RRID为研究资源持久且唯一的标识符，用于促进对研究资源的识别和跟踪，SciCrunch、NIF（Neuroscience Information Framework）、dkNET等均与其有合作关系
6	MDAR（Materials，Design，Analysis，and Reporting）	https://sciscore.com/reports/MDAR-Report.php	MDAR是一份检查清单，给出了对研究方法应该包含的结构化内容的详细要求，主要包括材料、设计、分析3个部分，每一部分又包括诸多元数据要素
7	STAR（Structured，Transparent，Accessible Reporting）	https://www.cell.com/star-methods	STAR通过直观、一致的框架促进严谨和稳健的研究，该框架无缝集成到科学信息流中，使作者更容易生成报告，让读者更容易复制研究
8	STAR Protocols	https://star-protocols.cell.com/search	STAR Protocols是Cell Press的开放获取、同行评议期刊。提供来自生命、健康、地球和物理科学各个领域的结构化、透明、可访问且可重复的分步实验和计算过程。研究方案主要包括摘要、准备工作、关键资源表、材料和设备、分步方法的详细信息、预期结果、局限性、故障调试、参考文献和其他信息
9	SciCrunch	https://scicrunch.org/	SciCrunch是数据共享和展示平台，旨在消除不同科研群体传统门户网站的孤岛现象，促进相互交流，鼓励利用其他人所做的工作并分享他们的专业知识。SciCrunch通过提高现有科学资源的可发现性、可访问性、可视性、实用性和互操作性来增加其价值，研究人员无须对其组件或信息模型进行广泛的重新设计。与更通用的搜索引擎不同，SciCrunch提供集中更多资源的深入访问链接，并为用户量身定制搜索策略
10	dkNET	https://dknet.org	dkNET是一个搜索门户，可帮助研究人员找到与其研究相关的研究资源，并及时了解新工具、服务和指令，以支持稳健且可重复的科学研究。研究资源包括试剂、生物体、软件工具、数据库和服务。dkNET是RRID项目的主要支持者，其目的是确保此类资源在生物医学文献中得到正确标识
11	NIF	https://neuinfo.org/	NIF是美国国立卫生研究院（National Institutes of Health，NIH）蓝图联盟的一项倡议，该联盟将支持神经科学研究的16个NIH研究所、中心和办公室聚集到一个协作框架中，以协调他们正在开展的工作并规划新的项目。NIF提供发现门户、注册表、数据共享服务等
12	Resource Identification Initiative	https://force11.org/group/resource-identification-initiative	是FORCE11推出的一个计划，通过使用RRID，促进以机器可读的格式对生物医学领域关键资源的一致引用
13	FORCE11	https://force11.org/info/about-force11/	FORCE11源于2011年8月在德国达格斯图尔举行的FORCE研讨会，是一个由学者、图书馆员、档案管理员、出版商和研究资助者组成的社区，通过有效利用信息技术来改变现代学术交流，促进知识创新和共享
14	NIH通过提升严谨性和透明性提升可重复性的指导方针	https://grants.nih.gov/policy/reproducibility/guidance.htm	致力于在各种资助项目的支持下，促进所有科学领域严谨、透明的研究
15	TOP（Transparency and Openness Promotion）Guidelines	https://www.cos.io/initiatives/top-guidelines	TOP Guidelines是出版和资助领域公认的标准。2015年在Science上发布的TOP Guidelines包括8个模块化标准，每个标准都有3个逐渐严格的级别。期刊选择希望实施的标准，并为每个标准选择实施级别。标准涉及数据引用、材料和代码透明度、预登记、复制等
16	SpringerProtocols	https://www.springernature.com/gp/librarians/products/databases-solutions/springerprotocols	SpringerProtocols是现代研究实验室的宝贵资源，是生物医学和生命科学领域最大的可重复实验室方案数据库，用户可以在其中找到适合其实验室设置的正确方案。SpringerProtocols为研究人员提供了长达30年的成型的分步实验方案，该方案可立即在实验室中使用。基于分子生物学方法的传承和其他优质资源的内容，研究人员可以确信他们选择的方案是最可靠和最准确的
17	Springer Nature Experiments	https://www.springernature.com/gp/librarians/products/databases-solutions/experiments	Springer Nature Experiments是Springer Nature开发的一种新的研究解决方案，旨在将研究人员与最相关、最重要的协议和方法联系起来，以支持他们的研究项目。汇集了经证明的可用协议和研究方法，内容主要来自Nature Protocols、SpringerProtocols、Nature Methods和Nature Reviews Methods Primers
18	IEEE DataPort	https://ieee-dataport.org/why-ieee-dataport	IEEE DataPort是一个研究数据平台，旨在存储有价值的研究数据，并使全球研究人员能够访问科学数据。①存储：将研究数据无限期地安全存储到由Amazon Web Services提供支持的单个可信存储库中。②访问：搜索、下载和分析数以千计的数据集，以支持可重复性和创新研究。③管理：制定数据管理计划，跟踪浏览量和引文，并将研究数据与论文和其他工作联系起来。④连接：邀请研究者在数据竞赛中分析数据，联系数据集所有者，并与同行建立联系

序号	调研对象	网址	相关介绍
1	protocols.io	https://www.protocols.io/	protocols.io是一个用于创建和分享可重复科研方法的安全平台，除了提供实验方案托管服务，该平台还能让研究人员在上面撰写和分享最新的研究方法，以支持更大限度和更高效的合作与创新
2	Codecheck	https://codecheck.org.uk/	Codecheck是一个代码审查平台，利用代码审查标准工作流程、操作指南、工具等，支持代码审查员对支撑科学论文的计算机程序进行审查和评估，是提升代码可重复性的主要解决方案之一
3	F1000Research	https://f1000research.com/	F1000Research 是一个面向所有学科领域研究人员的开放研究出版平台。通过快速发表、透明的发表后同行评议以及Scopus和PubMed索引，提升科研人员的影响力
4	SciScore	https://sciscore.com/	SciScore主要针对生物医学领域的研究进行自动化检测评估。SciScore根据论文方法部分包含的受试者性别、知情情况、随机性信息，以及所有研究资源的目录号和研究资源识别码（Research Resource Identifier，RRID）的陈述预期设定，对所有论文进行1~10分的评分
5	RRID	https://scicrunch.org/resources	RRID为研究资源持久且唯一的标识符，用于促进对研究资源的识别和跟踪，SciCrunch、NIF（Neuroscience Information Framework）、dkNET等均与其有合作关系
6	MDAR（Materials，Design，Analysis，and Reporting）	https://sciscore.com/reports/MDAR-Report.php	MDAR是一份检查清单，给出了对研究方法应该包含的结构化内容的详细要求，主要包括材料、设计、分析3个部分，每一部分又包括诸多元数据要素
7	STAR（Structured，Transparent，Accessible Reporting）	https://www.cell.com/star-methods	STAR通过直观、一致的框架促进严谨和稳健的研究，该框架无缝集成到科学信息流中，使作者更容易生成报告，让读者更容易复制研究
8	STAR Protocols	https://star-protocols.cell.com/search	STAR Protocols是Cell Press的开放获取、同行评议期刊。提供来自生命、健康、地球和物理科学各个领域的结构化、透明、可访问且可重复的分步实验和计算过程。研究方案主要包括摘要、准备工作、关键资源表、材料和设备、分步方法的详细信息、预期结果、局限性、故障调试、参考文献和其他信息
9	SciCrunch	https://scicrunch.org/	SciCrunch是数据共享和展示平台，旨在消除不同科研群体传统门户网站的孤岛现象，促进相互交流，鼓励利用其他人所做的工作并分享他们的专业知识。SciCrunch通过提高现有科学资源的可发现性、可访问性、可视性、实用性和互操作性来增加其价值，研究人员无须对其组件或信息模型进行广泛的重新设计。与更通用的搜索引擎不同，SciCrunch提供集中更多资源的深入访问链接，并为用户量身定制搜索策略
10	dkNET	https://dknet.org	dkNET是一个搜索门户，可帮助研究人员找到与其研究相关的研究资源，并及时了解新工具、服务和指令，以支持稳健且可重复的科学研究。研究资源包括试剂、生物体、软件工具、数据库和服务。dkNET是RRID项目的主要支持者，其目的是确保此类资源在生物医学文献中得到正确标识
11	NIF	https://neuinfo.org/	NIF是美国国立卫生研究院（National Institutes of Health，NIH）蓝图联盟的一项倡议，该联盟将支持神经科学研究的16个NIH研究所、中心和办公室聚集到一个协作框架中，以协调他们正在开展的工作并规划新的项目。NIF提供发现门户、注册表、数据共享服务等
12	Resource Identification Initiative	https://force11.org/group/resource-identification-initiative	是FORCE11推出的一个计划，通过使用RRID，促进以机器可读的格式对生物医学领域关键资源的一致引用
13	FORCE11	https://force11.org/info/about-force11/	FORCE11源于2011年8月在德国达格斯图尔举行的FORCE研讨会，是一个由学者、图书馆员、档案管理员、出版商和研究资助者组成的社区，通过有效利用信息技术来改变现代学术交流，促进知识创新和共享
14	NIH通过提升严谨性和透明性提升可重复性的指导方针	https://grants.nih.gov/policy/reproducibility/guidance.htm	致力于在各种资助项目的支持下，促进所有科学领域严谨、透明的研究
15	TOP（Transparency and Openness Promotion）Guidelines	https://www.cos.io/initiatives/top-guidelines	TOP Guidelines是出版和资助领域公认的标准。2015年在Science上发布的TOP Guidelines包括8个模块化标准，每个标准都有3个逐渐严格的级别。期刊选择希望实施的标准，并为每个标准选择实施级别。标准涉及数据引用、材料和代码透明度、预登记、复制等
16	SpringerProtocols	https://www.springernature.com/gp/librarians/products/databases-solutions/springerprotocols	SpringerProtocols是现代研究实验室的宝贵资源，是生物医学和生命科学领域最大的可重复实验室方案数据库，用户可以在其中找到适合其实验室设置的正确方案。SpringerProtocols为研究人员提供了长达30年的成型的分步实验方案，该方案可立即在实验室中使用。基于分子生物学方法的传承和其他优质资源的内容，研究人员可以确信他们选择的方案是最可靠和最准确的
17	Springer Nature Experiments	https://www.springernature.com/gp/librarians/products/databases-solutions/experiments	Springer Nature Experiments是Springer Nature开发的一种新的研究解决方案，旨在将研究人员与最相关、最重要的协议和方法联系起来，以支持他们的研究项目。汇集了经证明的可用协议和研究方法，内容主要来自Nature Protocols、SpringerProtocols、Nature Methods和Nature Reviews Methods Primers
18	IEEE DataPort	https://ieee-dataport.org/why-ieee-dataport	IEEE DataPort是一个研究数据平台，旨在存储有价值的研究数据，并使全球研究人员能够访问科学数据。①存储：将研究数据无限期地安全存储到由Amazon Web Services提供支持的单个可信存储库中。②访问：搜索、下载和分析数以千计的数据集，以支持可重复性和创新研究。③管理：制定数据管理计划，跟踪浏览量和引文，并将研究数据与论文和其他工作联系起来。④连接：邀请研究者在数据竞赛中分析数据，联系数据集所有者，并与同行建立联系

MDAR结构化项目	项目内容	元数据要素与描述
材料部分	主要包含与生物试剂和独特样本相关的信息（如有关人类参与的信息等），以及一些关键资源的信息（如RRID等）	①抗体：供应商名称、目录号、RRID等信息 ②细胞系：菌株、登记号、RRID等信息 ③实验动物：物种、基因状态、供应商名称、RRID等信息 ④植物和微生物：相关的属性描述等信息 ⑤人类参与者：包括机构声明、知情同意书、参与者的基本信息
设计部分	主要包含与研究实验设计相关的信息，包括方法和统计数据	①研究方案：尽量提供临床试验研究的试验注册号或DOI ②实验方案：尽量提供DOI（数据库登录号、URL也可）以获取详细的实验程序 ③实验研究设计：说明样本量确定、随机性、知情情况、纳入和排除标准等 ④样本定义与实验室内复制情况：复制发生的次数、复制类型 ⑤伦理道德：请说明有关道德批准的详细信息（如果适用），包括机构审查委员会的批准、动物护理和使用机构委员会批准、现场样品许可证批准等
分析部分	主要包含与统计分析、代码和研究数据相关的信息	①数据损耗情况：如果有任何数据被排除在分析之外，请报告 ②统计情况：描述分析中的每项统计测试结果，并进行t检验以计算统计差异 ③数据可用性：数据可用性声明、公开可用的数据标识符（DOI或URL）、可重复使用的公开数据标识符（DOI或URL） ④代码可用性：代码可用性声明、可识别的代码标识符（可被GitHub、Google Code 和Bitbucket识别） ⑤遵守的社区标准：说明已遵循的指南和清单

MDAR结构化项目	项目内容	元数据要素与描述
材料部分	主要包含与生物试剂和独特样本相关的信息（如有关人类参与的信息等），以及一些关键资源的信息（如RRID等）	①抗体：供应商名称、目录号、RRID等信息 ②细胞系：菌株、登记号、RRID等信息 ③实验动物：物种、基因状态、供应商名称、RRID等信息 ④植物和微生物：相关的属性描述等信息 ⑤人类参与者：包括机构声明、知情同意书、参与者的基本信息
设计部分	主要包含与研究实验设计相关的信息，包括方法和统计数据	①研究方案：尽量提供临床试验研究的试验注册号或DOI ②实验方案：尽量提供DOI（数据库登录号、URL也可）以获取详细的实验程序 ③实验研究设计：说明样本量确定、随机性、知情情况、纳入和排除标准等 ④样本定义与实验室内复制情况：复制发生的次数、复制类型 ⑤伦理道德：请说明有关道德批准的详细信息（如果适用），包括机构审查委员会的批准、动物护理和使用机构委员会批准、现场样品许可证批准等
分析部分	主要包含与统计分析、代码和研究数据相关的信息	①数据损耗情况：如果有任何数据被排除在分析之外，请报告 ②统计情况：描述分析中的每项统计测试结果，并进行t检验以计算统计差异 ③数据可用性：数据可用性声明、公开可用的数据标识符（DOI或URL）、可重复使用的公开数据标识符（DOI或URL） ④代码可用性：代码可用性声明、可识别的代码标识符（可被GitHub、Google Code 和Bitbucket识别） ⑤遵守的社区标准：说明已遵循的指南和清单

STAR要素	要素内涵	相关描述
结构化	注重细节，包括结构、内容和功能	具有可充分公布的标准、直观的结构；具有全面、一目了然的关键资源表；所有方法信息集成在一个专门的部分
透明	透明、全面和准确的方法可以促进研究人员的工作，应保证方法的可信度	所有Cell Press研究文章都具有直观、统一的框架；稳健且透明的方法可以让其他人在原有工作的基础上继续开展和传播研究
可获取	通过严谨、易于理解、详细且易于遵循的方法，让科研数据变得更容易获取	轻松访问有关试剂和资源的信息；具有完整的方法信息，并可直接链接到主要资料；促进更有效的资源、数据和知识共享
报告	强有力的方法和准确的报告是科学快速发展的基础，STAR致力于帮助研究人员优化科学研究	与作者密切合作，给予研究方法应有的关注；与利益相关者积极合作，以提高方法和报告的标准；继续改进和创新，以增强方法的可重复性

Please choose a citation manager

Content to export

Paths and countermeasures for improving reproducibility of scientific research methods

科学研究方法可重复性提升路径及对策建议

RichHTML

PDF

Knowledge

Cited

Abstract

Cite this article

share this article

Figures/Tables 6

References 39

Related Articles 15

Recommended Articles

Metrics

Comments

[1]	ZHANG Zhixiong. Shaping new models of scholarly communication in the era of open science and AI [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(5): 561-567.
[2]	LIU Jingyi, YANG Heng, CHU Jingli. Collaborative development path and strategy of scientific journal and preprint platform [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(5): 568-576.
[3]	CAO Kerui, DU Xingye, LI Hanxiao, LI Jinman. Transformation and evolution of scientific journals oriented to open science [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(5): 607-616.
[4]	ZHANG Na, XU Jie. Research review on the transformation of scientific journal publishing towards open science [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(4): 423-430.
[5]	ZHAI Jun, FAN Weihua, HU Huiling, LI Jianfeng. Policies for code sharing of PLOS journals in the open science environment [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(3): 309-315.
[6]	WEI Xiaotian, WANG Chenyang, ZHOU Rongting, ZHOU Shen. Paper-linked data collection and sharing models of Chinese social science journals [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(2): 193-199.
[7]	KANG Fei, LIU Qi, ZHANG Han, GAO Tianxiao. Analysis of the development of open access papers in China and the United States in the last decade: A comparison based on the InCites database [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(1): 110-120.
[8]	YAN Dongao, CHEN Fang. Comparative analysis and insights from open science practices of overseas academic publishers [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(1): 17-24.
[9]	ZHAO Wenqing, DI Jifeng, ZONG Minggang, HU Shaojun. Reconstruction of publishing and communication mode of Chinese academic journals in the context of open science [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(1): 36-42.
[10]	HUANG Jinxia, RUI Xiao, WANG Fang. Monitoring of global OA journals and article processing charges in 2022 and recommendations for China [J]. Chinese Journal of Scientific and Technical Periodicals, 2023, 34(6): 685-691.
[11]	GUO Yumei, GUO Xiaoliang, ZHANG Lu, JI Haitao. Measures for promoting differentiated open access of academic journals [J]. Chinese Journal of Scientific and Technical Periodicals, 2023, 34(6): 759-765.
[12]	CHEN Xuwen, YAO Changqing, LEI Xue. Reproducibility safeguard mechanism of scientific research results from the perspective of academic publishing [J]. Chinese Journal of Scientific and Technical Periodicals, 2023, 34(11): 1451-1457.
[13]	GAO Yuwei, ZHU Yanhua, KONG Lihua, HU Lianglin, ZHOU Jianshe, LI Kun. Metadata standard for data paper and related scientific dataset publication [J]. Chinese Journal of Scientific and Technical Periodicals, 2023, 34(10): 1270-1282.
[14]	DING Yi. Statistical analysis of DOAJ-indexed Chinese open access journals and their charging policies [J]. Chinese Journal of Scientific and Technical Periodicals, 2023, 34(10): 1356-1363.
[15]	ZHANG Na, XU Jie. Open sharing of scientific data for permanent academic records [J]. Chinese Journal of Scientific and Technical Periodicals, 2023, 34(1): 7-14.