Construction of evaluation and selection system for high-quality open access journals

doi:10.11946/cjstp.202412061342

Chinese Journal of Scientific and Technical Periodicals ›› 2025, Vol. 36 ›› Issue (3): 348-357. doi: 10.11946/cjstp.202412061342

Previous Articles Next Articles

Construction of evaluation and selection system for high-quality open access journals

ZHANG Lin¹^,²⁾()(), LIN Liying³⁾, ZHANG Tieming⁴⁾, DOU Tianfang⁵⁾, LIU Xiaomin⁶⁾, MA Zheng⁶⁾, GOU Zhenyu¹^,²⁾, JIN Jianbin⁵^,⁷⁾()()

1) School of Information Management, Wuhan University, 299 Bayi Road, Wuchang District, Wuhan 430072, China
2) Center for Science, Technology & Education Assessment, Wuhan University, 299 Bayi Road, Wuchang District,Wuhan 430072, China
3) China National Publications Import & Export (Group) Co., Ltd., 16 Gongti East Road, Chaoyang District, Beijing 100020, China
4) Society of China University Journals, 9 Xueyuan Road, Haidian District, Beijing 100083, China
5) Tsinghua University Library, 30 Shuangqing Road, Haidian District,Beijing 100084, China
6) National Science Library, Chinese Academy of Sciences, 33 Beisihuan Xilu, Haidian District, Beijing 100190, China
7) School of Journalism and Communication, Tsinghua University, 30 Shuangqing Road, Haidian District, Beijing 100084, China

Received:2024-12-06 Revised:2025-03-02 Online:2025-03-15 Published:2025-04-01

高质量开放获取期刊评价遴选体系的构建

张琳¹^,²⁾()(), 林丽颖³⁾, 张铁明⁴⁾, 窦天芳⁵⁾, 刘筱敏⁶⁾, 马峥⁶⁾, 苟震宇¹^,²⁾, 金兼斌⁵^,⁷⁾^,^*()()

1) 武汉大学信息管理学院,武汉市武昌区八一路299号 430072
2) 武汉大学科教管理与评价中心,武汉市武昌区八一路299号 430072
3) 中国图书进出口(集团)有限公司,北京市朝阳区工体东路16号 100020
4) 中国高校科技期刊研究会,北京市海淀区学院路9号 100083
5) 清华大学图书馆,北京市海淀区双清路30号 100084
6) 中国科学院文献情报中心,北京市海淀区北四环西路33号 100190
7) 清华大学新闻与传播学院,北京市海淀区双清路30号 100084

通讯作者: * 金兼斌(ORCID:0000-0002-2907-3284),博士,教授,博士研究生导师,E-mail:jinjb@tsinghua.edu.cn。
作者简介:
张琳(ORCID:0000-0003-0526-9677),博士,教授,博士研究生导师,E-mail:linzhang1117@whu.edu.cn;
林丽颖,中国图书进出口(集团)有限公司总经理;
张铁明,博士,编审;
窦天芳,硕士,副研究馆员;
刘筱敏,研究馆员;
马峥,博士,研究员;
苟震宇,博士研究生。
作者贡献声明: 张琳:设计研究框架,开展指标构建,论文起草,论文审核; 林丽颖:论文审核; 张铁明,窦天芳,刘筱敏,马峥:参与提出指标体系,论文修改; 苟震宇:论文起草,论文修改; 金兼斌:设计研究框架,开展指标构建,论文审核。
基金资助:
清华大学自主科研项目“开放科学视域下的国际科技合作:问题、对策与实践”(20233080027)

Abstract

Abstract:

[Purposes] This study aims to construct a quality evaluation and selection system for high-quality OA journals, providing methods and tools for scientifically assessing the quality of OA journals. It also offers reference guidance for scholars to select reliable and trustworthy publication platforms and serves as a benchmark for OA journals to optimize their management practices. [Methods] An expert panel was formed based on the “International OA Journal Recommended List” project. Through expert consultations, surveys, and multiple rounds of discussions and feedback, the OA journal evaluation and selection system was developed and tested and optimized during the project practice. [Findings] Based on the research results, the evaluation content and data indicators were established from three dimensions: publication standards, content development, and open practices. An OA journal evaluation and selection system was built, comprising three primary indicators, 17 secondary indicators, and several supporting quantitative and qualitative metrics. [Conclusions] The OA journal evaluation and selection system proposed in this study covers all aspects and processes of OA journal publishing activities. It provides a comprehensive evaluation of journal quality, and its results can offers a scientifically sound and feasible methodological support for the evaluation and selection of high-quality OA journals.

Key words: Open access journals, Journal evaluation, Open science, Total quality management

摘要：

【目的】研究构建高质量OA期刊评价遴选体系,为科学评估OA期刊质量提供方法工具,为学者选择可靠可信的论文发表平台提供参考指引,为OA期刊优化自身办刊管理水平提供参照。【方法】依托“国际开放获取期刊推荐名录”项目组建专家小组,通过专家咨询调研和多轮讨论反馈等形式构建OA期刊评价遴选体系,并在项目实践中检验和优化评价体系。【结果】基于项目研究结果,从出版规范、内容建设和开放实践3个维度确立评价框架和相关指标,构建包含3个一级指标、17个二级指标及若干支撑性定量和定性指标的OA期刊评价遴选体系。【结论】本研究所提出的OA期刊评价遴选体系覆盖OA期刊出版活动的全流程,可以综合评价期刊的质量水平,为高质量开放获取期刊评价遴选提供兼具科学性和可行性的方法支撑。

关键词: 开放获取期刊, 期刊评价, 开放科学, 全面质量管理

ZHANG Lin, LIN Liying, ZHANG Tieming, DOU Tianfang, LIU Xiaomin, MA Zheng, GOU Zhenyu, JIN Jianbin. Construction of evaluation and selection system for high-quality open access journals[J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(3): 348-357.

张琳, 林丽颖, 张铁明, 窦天芳, 刘筱敏, 马峥, 苟震宇, 金兼斌. 高质量开放获取期刊评价遴选体系的构建[J]. 中国科技期刊研究, 2025, 36(3): 348-357.

/ / Recommend / Download Citations

URL: https://www.cjstp.cn/EN/10.11946/cjstp.202412061342

https://www.cjstp.cn/EN/Y2025/V36/I3/348

Figures/Tables 5

References 45

[1]	廖宇, 刘敬仪, 沈哲思. 开放获取:起源、主要成效、面临阻碍和未来发展[J]. 世界科技研究与发展, 2024, 46(1):72-89.
[2]	中国科学技术协会. 中国开放获取出版发展报告2022[R/OL]. (2022-12-14)[2024-10-26]. https://stm.castscs.org.cn/u/cms/www/202212/16123856a9l7.pdf. URL
[3]	任翔. 学术出版的开放变局:2014年欧美开放获取发展评述[J]. 科技与出版, 2015 (2):18-23.
[4]	Bohannon J. Who’s afraid of peer review?[J]. Science, 2013, 342(6154): 60-65. doi: 10.1126/science.342.6154.60 pmid: 24092725
[5]	The InterAcademy Partnership. Combatting predatory academic journals and conferences[R/OL]. (2022-03-01)[2024-10-26]. https://www.interacademies.org/publication/predatory-practices-report-English. URL
[6]	全国人民代表大会常务委员会. 中华人民共和国科学技术进步法(2021年修订)[EB/OL].(2021-12-24)[2024-10-26]. https://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/flfg/202201/t20220118_179043.html. URL
[7]	《关于推动学术期刊繁荣发展的意见》的通知[EB/OL]. (2021-07-08)[2024-10-26]. http://www.nopss.gov.cn/n1/2021/0708/c362661-32152337.html. URL
[8]	国际开放获取期刊推荐名录. 关于我们[EB/OL].(2024-12-01)[2025-01-06]. https://oarl.org.cn/zh/about. URL
[9]	贺颖, 徐小然. OA期刊质量评价实证研究:双盲与开放评审模式对比分析[J]. 中国科技期刊研究, 2022, 33(3):305-310. doi: 10.11946/cjstp.202108030607
[10]	颜蕴, 续玉红, 刘敏娟, 等. NSTL国外开放资源评价实践[J]. 数字图书馆论坛, 2015 (8):8-15.
[11]	孙萌月, 赵志耘, 高芳, 等. 开放获取期刊学术影响力评价指标体系研究[J]. 数字图书馆论坛, 2021 (8):45-51.
[12]	韩欢, 胡德华. 开放存取期刊的质量控制机制研究[J]. 情报杂志, 2009, 28(7):44-48.
[13]	李亚芳. 学术型开放存取期刊的质量评估[D]. 太原: 山西大学, 2012.
[14]	王新. 基于被引的基础学科学术期刊OA质量评价思路:以物理学科为例[J]. 中国科技期刊研究, 2020, 31(9):1087-1100. doi: 10.11946/cjstp.202005120483
[15]	张伊. 开放获取期刊价值的影响因素研究[D]. 长春: 东北师范大学, 2020.
[16]	Solomon D, Eddy M. Impact assessment of non-indexed open access journals: A case study[J]. portal: Libraries and the Academy, 2019, 19(2): 329-352.
[17]	谢维. 开放存取期刊学术影响力研究[D]. 沈阳: 沈阳师范大学, 2023.
[18]	Hwang H, Lee E J, Kim W J, et al. Assessment and support measures of academic journals in the national open access platform AccessON[J]. Journal of Information Science Theory and Practice, 2024, 12(3): 75-88.
[19]	黄金霞, 陈雪飞, 刘细文. 科技期刊过度商业化中OA期刊的掠夺性特征研究[J]. 中国科技期刊研究, 2024, 35(8):1026-1034. doi: 10.11946/cjstp.202406130654
[20]	Albro M, Serrao J L, Vidas C D, et al. Applying librarian-created evaluation tools to determine quality and credibility of open access library science journals[J]. portal: Libraries and the Academy, 2024, 24(1): 59-81.
[21]	Kratochvíl J, Plch L, Sebera M, et al. Evaluation of untrustworthy journals: Transition from formal criteria to a complex view[J]. Learned Publishing, 2020, 33(3): 308-322.
[22]	Wu J, Liu T, Mu K, et al. Identification and causal analysis of predatory open access journals based on interpretable machine learning[J]. Scientometrics, 2024, 129(4): 2131-2158.
[23]	da Silva J A T, Moradzadeh M, Yamada Y, et al. Cabells’ predatory reports criteria: Assessment and proposed revisions[J]. The Journal of Academic Librarianship, 2023, 49(1): 102659.
[24]	Scopus. Scopus期刊收录常见问题解答[EB/OL]. (2019-01-01)[2024-10-26]. https://corp.elseviercdn.cn/cms/900985.pdf. URL
[25]	Clarivate. Web of Science 期刊评估流程和遴选标准[EB/OL]. [2024-10-26]. https://clarivate.com.cn/products/scientific-and-academic-research/web-of-science-期刊评估流程和遴选标准/. URL
[26]	Norwegian Register. Norwegian Register for scientific journals, series and publishers[EB/OL]. [2024-10-26]. https://kanalregister.hkdir.no/publiseringskanaler/OmKriterier. URL
[27]	Publication Forum. Classification criteria[EB/OL]. [2024-10-26]. https://julkaisufoorumi.fi/en/evaluations/classification-criteria. URL
[28]	DOAJ. Guide to applying[EB/OL]. (2024-01-01)[2024-10-26]. https://doaj.org/apply/guide/#basic-criteria-for-inclusion. URL
[29]	汪玲, 夏黎明, 汪晓, 等. 科技期刊的全面质量管理[J]. 编辑学报, 2004, 16(3):168-169.
[30]	曹兵, 佟建国. 科技期刊全面质量管理体系的内涵及构建[J]. 宁夏大学学报(人文社会科学版), 2009, 31(1):189-192.
[31]	周志新. 论科技期刊全面质量管理及PDCA循环的应用[J]. 中国科技期刊研究, 2013, 24(5):847-850.
[32]	李勘. 科技期刊TQM理论模型构建[J]. 中国科技期刊研究, 2017, 28(3):220-224. doi: 10.11946/cjstp.201611300955
[33]	Zhang L, Wei Y, Huang Y, et al. Should open access lead to closed research? The trends towards paying to perform research[J]. Scientometrics, 2022, 127(12): 7653-7679.
[34]	吴林娟, 叶继元. 以内容质量评价为中心的人文社科学术期刊质量评价体系研究[J]. 出版发行研究, 2022(10):64-71.
[35]	盛小平, 杨智勇. 开放科学、开放共享、开放数据三者关系解析[J]. 图书情报工作, 2019, 63(17):15-22. doi: 10.13266/j.issn.0252-3116.2019.17.002
[36]	赵艳枝, 龚晓林. 从开放获取到开放科学:概念、关系、壁垒及对策[J]. 图书馆学研究, 2016(5):2-6.
[37]	芮啸, 黄金霞, 王昉. 2023年全球OA期刊与论文处理费监测及我国应对策略建议[J]. 中国科技期刊研究, 2024, 35(8):1019-1025. doi: 10.11946/cjstp.202406270703
[38]	Muthu M, Kimidi S S, Gunasekaran S, et al. Should Indian researchers pay to get their work published?[J]. Current Science, 2017, 112(4): 703-713.
[39]	袁翀. 综合性人文社会科学学术期刊质量包容性评价模型研究[J]. 情报科学, 2020, 38(11): 21-27.
[40]	黄宝印, 黄海军, 陈燕, 等. 树立包容性评价新理念探索构建国际大学评价新范式[J]. 大学与学科, 2022, 3(2):41-50.
[41]	殷宝侠, 代小秋, 王梅. 开放一稿多投对于学术期刊出版的新思考[J]. 编辑学报, 2024, 36(3):265-268.
[42]	Gruda D. Dear journals: Stop hoarding our papers[J]. Nature Careers Community, 2023, 10:1-6.
[43]	eLife. Editorial process[EB/OL]. [2024-10-26]. https://elife-rp.msubmit.net/html/elife-rp_author_instructions.html#process. URL
[44]	eLife. Update on eLife’s indexing status at web of science[EB/OL]. (2024-10-24)[2024-10-26]. https://elifesciences.org/inside-elife/16afe6ec/update-on-elife-s-indexing-status-at-web-of-science. URL
[45]	国际开放获取期刊推荐名录(OARL)在京发布[EB/OL].(2024-12-27)[2025-01-06]. https://www.news.cn/science/20241227/5e710834c09b4c4f9d3dedea729dc410/c.html. URL

一级指标	二级指标	评价支撑定量/定性指标
出版规范	出版运营学术独立性	①期刊开放获取形式;②APC费用的多少是否影响稿件审查过程与结果;③期刊是否有APC以外的影响学术评审活动的其他付费服务,包括“加速发表”通道等;④期刊是否有影响学术评审活动的第三方资助;⑤期刊是否有影响学术论文呈现和传播的广告行为
	出版伦理规范	①期刊是否是国际出版伦理委员会或同类组织的成员;②期刊是否明确公开其遵循的出版伦理规范;③期刊是否遵循特定领域的伦理规范(如实验伦理等)
	版权与许可政策	①期刊是否公开说明版权政策;②论文版权是否归属作者;③期刊是否公开说明论文共享许可政策;④已发表论文是否注明版权与许可信息
	学术规范审查	①期刊是否对所收稿件进行剽窃等学术规范审查;②期刊开展学术审查的方式或工具为何
	编委组成合理性	①编委成员的学术背景与期刊目标领域一致性程度;②编委成员在对应领域的权威性
	编委来源多样性	①编委来源机构多样性;②编委来源国别多样性
	作者来源多样性	①作者来源机构多样性;②作者来源国别多样性

一级指标	二级指标	评价支撑定量/定性指标
出版规范	出版运营学术独立性	①期刊开放获取形式;②APC费用的多少是否影响稿件审查过程与结果;③期刊是否有APC以外的影响学术评审活动的其他付费服务,包括“加速发表”通道等;④期刊是否有影响学术评审活动的第三方资助;⑤期刊是否有影响学术论文呈现和传播的广告行为
	出版伦理规范	①期刊是否是国际出版伦理委员会或同类组织的成员;②期刊是否明确公开其遵循的出版伦理规范;③期刊是否遵循特定领域的伦理规范(如实验伦理等)
	版权与许可政策	①期刊是否公开说明版权政策;②论文版权是否归属作者;③期刊是否公开说明论文共享许可政策;④已发表论文是否注明版权与许可信息
	学术规范审查	①期刊是否对所收稿件进行剽窃等学术规范审查;②期刊开展学术审查的方式或工具为何
	编委组成合理性	①编委成员的学术背景与期刊目标领域一致性程度;②编委成员在对应领域的权威性
	编委来源多样性	①编委来源机构多样性;②编委来源国别多样性
	作者来源多样性	①作者来源机构多样性;②作者来源国别多样性

一级指标	二级指标	评价支撑定量/定性指标
内容建设	同行评议质量	①期刊邀请同行评议专家数量;②邀请专家是否具有领域权威性;③期刊是否审查作者建议或提请回避的评审专家;④评审专家的选择/邀请方式为何;⑤同行评议模式为何;⑥同行评议流程是否有公开说明;⑦是否存在少数评审专家负责大量论文的评审工作(专家评审论文数量的极端值分布)
	评审周期合理性	①近1年论文的评审平均耗费时长;②近1年论文的接受率;③期刊的刊发周期;④近2年特刊的平均刊发周期
	发表与撤稿管理	①期刊是否公开说明撤稿管理政策;②近3年撤稿文章数;③撤稿时间与论文发表时间的平均间隔;④是否公开发布撤稿声明或为论文添加撤稿水印
	出版内容相关性	近1年已发表论文与期刊目标领域的一致性程度
	学术贡献	①期刊被权威数据库索引收录情况或同类学术认可(学术共同体评定的权威目录);②近3年已发表论文的整体引用频次和引文多样性;③近3年高被引论文的引用频次和引文多样性;④近3年已发表论文的整体被访问频次和访问来源多样性;⑤近3年高传播论文的被访问频次和访问来源多样性

一级指标	二级指标	评价支撑定量/定性指标
内容建设	同行评议质量	①期刊邀请同行评议专家数量;②邀请专家是否具有领域权威性;③期刊是否审查作者建议或提请回避的评审专家;④评审专家的选择/邀请方式为何;⑤同行评议模式为何;⑥同行评议流程是否有公开说明;⑦是否存在少数评审专家负责大量论文的评审工作(专家评审论文数量的极端值分布)
	评审周期合理性	①近1年论文的评审平均耗费时长;②近1年论文的接受率;③期刊的刊发周期;④近2年特刊的平均刊发周期
	发表与撤稿管理	①期刊是否公开说明撤稿管理政策;②近3年撤稿文章数;③撤稿时间与论文发表时间的平均间隔;④是否公开发布撤稿声明或为论文添加撤稿水印
	出版内容相关性	近1年已发表论文与期刊目标领域的一致性程度
	学术贡献	①期刊被权威数据库索引收录情况或同类学术认可(学术共同体评定的权威目录);②近3年已发表论文的整体引用频次和引文多样性;③近3年高被引论文的引用频次和引文多样性;④近3年已发表论文的整体被访问频次和访问来源多样性;⑤近3年高传播论文的被访问频次和访问来源多样性

一级指标	二级指标	评价支撑定量/定性指标
开放实践	在线可及性	①论文访问是否有注册登录等获取障碍;②是否有明确合理的长期保存管理政策;③是否说明有自建或第三方数据平台以支持论文长期保存管理
	开放获取支持	①期刊是否支持API等自动获取工具;②API等自动获取工具对可获取数据的覆盖度;③API等自动获取工具是否有付费等使用限制
	APC合理性	①APC收费标准;②是否存在APC减免政策
	论文关联数据管理	①期刊是否支持开放数据/代码等论文关联数据;②是否有明确的开放数据管理政策;③是否有自建或第三方数据平台以支持论文开放其关联数据
	开放同行评议	①期刊是否支持开放同行评议;②是否有明确的开放同行评议管理政策;③开放同行评议所开放的内容范畴;④是否有相关平台工具以支持开放同行评议的高效运行

Please choose a citation manager

Content to export

Construction of evaluation and selection system for high-quality open access journals

高质量开放获取期刊评价遴选体系的构建

RichHTML

PDF

Knowledge

Cited

Abstract

Cite this article

share this article

Figures/Tables 5

References 45

Related Articles 15

Recommended Articles

Metrics

Comments

[1]	WANG Jiayun, WEN Yanjie, LI Haibo, YANG Liuchun, SHEN Xibin, YAN Jun, BAI Yuhong. Problems and strategies on industrialized of scientific journals in China in the context of open science [J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(3): 261-266.
[2]	XU Zichao. Evaluation effect of academic influence of journals with proportion of Top papers [J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(3): 358-366.
[3]	XIE Yundong, WANG Yezhu, WU Dengsheng. Research on the journal impact evaluation method and empirical research based on editorial scholarly index [J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(3): 375-384.
[4]	DING Jin, LIU Xiwen, GU Liping. Practices and framework construction related to social responsibility of academic publishers in the context of open science [J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(2): 164-174.
[5]	LIU Dan, ZHOU Kun, FU Hongtao, WANG Han, WEI Haoming, CHANG Yan. Innovative practices in the integrated development of preprint platforms and traditional academic journal publishing: Taking China Music Journal Network·Preprint Platform as an example [J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(2): 183-191.
[6]	WANG Xindi, SONG Ge, YUAN Xilin. Operational transformation strategies and effectiveness analysis of PLOS ONE in the open science environment [J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(1): 72-79.
[7]	WANG Yuanjie, WANG Xiaofei, PAN Yuehong, XUE Chunlu, WANG Yingkuan. Existing problems and improvement suggestions for copyright agreements of open access journals in China [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(9): 1232-1239.
[8]	RUI Xiao, HUANG Jinxia, WANG Fang. Monitoring of global OA journals and article processing charges in 2023 and suggestions for China′s response strategies [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(8): 1019-1025.
[9]	WANG Yuan. Updates of "Principles of Transparency and Best Practice in Scholarly Publishing" and implications for Chinese academic journals [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(8): 1109-1115.
[10]	LIU Yuge, DING Zuoqi. Improved evaluation system for international medical journals in China based on factor analysis and entropy-weighted TOPSIS method [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(8): 1134-1143.
[11]	WANG Chenyang, WEI Xiaotian, CHU Jianxun, YANG Xiaoting. Analysis of citation advantage of Chinese open access journal papers: An empirical analysis on Library and Information Service [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(7): 1004-1010.
[12]	LI Fu, LI Zhengfeng. Path of knowledge transformation in scientific journals from the perspective of open science [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(7): 882-889.
[13]	YE Xiyan, LIU Wei, HOU Chunmei, LIU Yu, HE Haoyu, MA Hanqing. Paths and countermeasures for improving reproducibility of scientific research methods [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(6): 746-754.
[14]	YANG Wenxia, KONG Jia, YAN Xiaohui, DENG Sanhong, ZHANG Xuezhou. Multi-dimensional academic journal evaluation: A case study of the LIS discipline [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(6): 841-851.
[15]	ZHANG Zhixiong. Shaping new models of scholarly communication in the era of open science and AI [J]. Chinese Journal of Scientific and Technical Periodicals, 2024, 35(5): 561-567.