高质量的审稿意见与审稿人个体特征的关系——基于对Publons Top Reviewers的实证分析

doi:10.11946/cjstp.202007170672

中国科技期刊研究 ›› 2021, Vol. 32 ›› Issue (2): 199-205. doi: 10.11946/cjstp.202007170672

高质量的审稿意见与审稿人个体特征的关系——基于对Publons Top Reviewers的实证分析

徐英朔¹⁾, 程媛²⁾, 宗乾进¹⁾(), 张燕霏¹⁾, 杜娇³⁾, 吴其达¹⁾, 黄颖²⁾

1)华南师范大学经济与管理学院,广东省广州市外环路378号 510006
2)华南师范大学法学院,广东省广州市外环路378号 510006
3)广州大学计算机科学与网络工程学院,广东省广州市外环路230号 510006

收稿日期:2020-07-17 修回日期:2020-10-05 出版日期:2021-02-15 发布日期:2021-02-15
通讯作者: 宗乾进 E-mail:zongqj@m.scnu.edu.cn
作者简介:徐英朔(ORCID:0000-0002-6521-2691),本科生;|程媛,本科生;|张燕霏,助理研究员;|杜娇,博士,讲师;|吴其达,本科生;|黄颖,本科生;
基金资助:
国家自然科学基金(71704057);广东省哲学社会科学规划项目(GD17YTS01)

Relationship between high-quality peer reviews and individual characteristics of reviewers: An empirical study of Publons top reviewers

XU Yingshuo¹⁾, CHENG Yuan²⁾, ZONG Qianjin¹⁾(), ZHANG Yanfei¹⁾, DU Jiao³⁾, WU Qida¹⁾, HUANG Ying²⁾

1) School of Economics and Management, South China Normal University, 378 Waihuan Road, Guangzhou 510006, China
2) School of Law, South China Normal University, 378 Waihuan Road, Guangzhou 510006, China
3) School of Computer Science and Cyber Engineering, Guangzhou University, 230 Waihuan Road, Guangzhou 510006, China

Received:2020-07-17 Revised:2020-10-05 Online:2021-02-15 Published:2021-02-15
Contact: ZONG Qianjin E-mail:zongqj@m.scnu.edu.cn

摘要/Abstract

摘要：

【目的】 探讨高质量的审稿意见与审稿人个体特征的关系,为科技期刊选择合适的审稿人提供参考。 【方法】 以Publons平台中2018年和2019年Top Reviewers相关信息为数据源,采用标准负二项回归检验高质量审稿意见与审稿人个体特征间的关系。【结果】 经认证的审稿数、编辑经历、出版后同行评议经历与高质量审稿意见的数量有着显著的、稳定的正相关关系。是否为高被引科学家、是否为Publons导师、论文发表数量、是否在任期刊编委会成员、是否曾任编委会成员、未经认证的审稿数与高质量的审稿意见没有稳定的或者没有显著的关系。【结论】 科技期刊可以通过Publons等开放性的同行评议平台,邀请那些审稿数量多、有编辑经历,以及有过出版后同行评议经历的审稿人参与审稿,以提高审稿质量。

关键词: 审稿质量, Publons, 审稿人特征, 出版后同行评议, 同行评议, 科技期刊

Abstract:

[Purposes] This study aims to provide implications for scientific journals to select appropriate reviewers by analyzing the relationship between high-quality peer reviews and reviewers' characteristics. [Methods] Based on the data sets of Publons top reviewers in 2018 and 2019, standard negative binomial regression was adopted to examine the relationship between high-quality peer reviews and individual characteristics of reviewers. [Findings] The results showed that the number of verified reviews, experience in journal editing, and experience in post-publication peer review were in stable and significant correlation with the number of high-quality peer reviews, and the identity of highly cited researcher, Publons mentor, number of published papers, member of editorial board of journals, former member of editorial board of journals, and number of unverified reviews had insignificant or unstable correlation with the number of high-quality peer reviews. [Conclusions] To improve the quality of peer review, scientific journals can invite reviewers (via open peer review platforms such as Publons) with a large number of peer reviews, experience in journal editing, and experience in post-publication peer review for peer review.

Key words: Review quality, Publons, Characteristic of reviewer, Post-publication peer review, Peer review, Scientific journal

徐英朔, 程媛, 宗乾进, 张燕霏, 杜娇, 吴其达, 黄颖. 高质量的审稿意见与审稿人个体特征的关系——基于对Publons Top Reviewers的实证分析[J]. 中国科技期刊研究, 2021, 32(2): 199-205.

XU Yingshuo, CHENG Yuan, ZONG Qianjin, ZHANG Yanfei, DU Jiao, WU Qida, HUANG Ying. Relationship between high-quality peer reviews and individual characteristics of reviewers: An empirical study of Publons top reviewers[J]. Chinese Journal of Scientific and Technical Periodicals, 2021, 32(2): 199-205.

https://www.cjstp.cn/CN/Y2021/V32/I2/199

图/表 5

参考文献 48

[1]	黄颖, 吴其达, 宗乾进, 等. 审稿人工作量的影响因素研究: 基于对Publons Top Reviewers个体特征的实证分析[J]. 中国科技期刊研究, 2019,30(9):956-961.
[2]	徐锦英, 葛慧丽. 同行评议专家信誉评价体系构建及实证研究[J]. 科技管理研究, 2017,37(21):35-39.
[3]	Ragone A, Mirylenka K, Casati F, et al. On peer review in computer science:Analysis of its effectiveness and suggestions for improvement[J]. Scientometrics, 2013,97(2):317-356.
[4]	游庆根, 张金隆, 马辉民. 基于熵权法的评审专家遴选模型研究[C]. 第十五届全国计算机模拟与信息技术学术会议论文集.武汉:管理学报杂志社, 2015:275-282.
[5]	Mohr W K. Quality of manuscript reviews in nursing research[J]. Nursing Outlook, 2009,57(5):239.
[6]	盛怡瑾, 初景利. 同行评议质量控制方法研究进展[J]. 出版科学, 2018,26(5):46-53.
[7]	刘凤华, 陈立敏, 李启明. 科技期刊审稿专家的评价和改进措施[J]. 中国科技期刊研究, 2016,27(8):857-862.
[8]	罗伟清. 同行专家审稿行为的后评价分析[J]. 中国科技期刊研究, 2015,26(6):578-582.
[9]	Bianchi F, Grimaldo F, Squazzoni F. The F3-index. Valuing reviewers for scholarly journals[J]. Journal of Informetrics, 2019,13(1):78-86.
[10]	陈媛, 樊治平, 谢美萍. 科研项目同行评议专家水平的评价研究[J]. 科学学与科学技术管理, 2009,30(10):38-42.
[11]	Superchi C, González J A, Solà I, et al. Tools used to assess the quality of peer review reports:A methodological systematic review[J]. BMC Medical Research Methodology, 2019,19:48. doi: 10.1186/s12874-019-0688-x URL pmid: 30841850
[12]	Ramachandran L, Gehringer E F, Yadav R K. Automated assessment of the quality of peer reviews using natural language processing techniques[J]. International Journal of Artificial Intelligence in Education, 2017,27(3):534-581.
[13]	van Rooyen S, Black N, Godlee F. Development of the review quality instrument (RQI) for assessing peer reviews of manuscripts[J]. Journal of Clinical Epidemiology, 1999,52(7):625-629.
[14]	Ma Z, Pan Y T, Yu Z L, et al. A quantitative study on the effectiveness of peer review for academic journals[J]. Scientometrics, 2013,95(1):1-13.
[15]	黄进. 科学基金项目评审专家科研信誉综合评价体系研究:基于“能力-行为-绩效”的视角[J]. 中国科学基金, 2012,26(1):57-60,64.
[16]	Wicherts J M. Peer review quality and transparency of the peer-review process in open access and subscription journals[J]. PLoS ONE, 2016,11(1):e0147913. URL pmid: 26824759
[17]	马晓光, 连燕华, 沈全锋, 等. 同行评议中专家识别研究[J]. 研究与发展管理, 2003,15(3):68-72.
[18]	于宏国, 樊治平, 索玮岚. 面向科研基金项目评审的专家水平评价方法[J]. 吉林大学学报(信息科学版), 2010,28(4):390-395.
[19]	李莹, 李燕萍. 我国评估评审专家评价体系的构建问题研究[J]. 科技进步与对策, 2005,22(1):42-45.
[20]	石俊强, 林琳, 甘慧敏. H指数在期刊同行评议质量评价中的应用[J]. 济宁医学院学报, 2019,42(6):441-444.
[21]	Glonti K, Cauchi D, Cobo E, et al. A scoping review on the roles and tasks of peer reviewers in the manuscript review process in biomedical journals[J]. BMC Medicine, 2019,17:118. doi: 10.1186/s12916-019-1347-0 URL pmid: 31217033
[22]	Shopovski J, Bolek C, Bolek M. Characteristics of peer review reports:Editor-suggested versus author-suggested reviewers[J]. Science and Engineering Ethics, 2020,26(2):709-726. doi: 10.1007/s11948-019-00118-y URL pmid: 31209769
[23]	王福军, 冷怀明. 影响科技期刊审稿人审稿质量的因素研究现状与展望[J]. 医学教育探索, 2009,8(12):1592-1595.
[24]	李晓. 影响科技期刊论文专家审稿质量的因素分析[J]. 中国科技期刊研究, 2014,25(11):1369-1372.
[25]	朱银周, 唐虹. 学术期刊审稿专家研究领域与稿件匹配度的优化[J]. 中国科技期刊研究, 2019,30(2):132-136.
[26]	Mittal K, Jain A, Vaisla K S. Understanding reviewer assignment problem and its issues and challenges[C]// 2019 4th International Conference on Internet of Things:Smart Innovation and Usages (IoT-SIU),April 18-19,2019,Ghaziabad,India. New York:IEEE, 2019: 1-6.
[27]	尚淑贤, 周良佳, 颜艳. 提高医学期刊审稿时效和质量的对策探讨:基于审稿专家的调查[J]. 中国科技期刊研究, 2019,30(8):832-838.
[28]	Publons. Track more of your research impact[EB/OL]. [2020-10-02]. https://publons.com/about/home/. URL
[29]	Ortega J L. Are peer-review activities related to reviewer bibliometric performance? A scientometric analysis of Publons[J]. Scientometrics, 2017,112(2):947-962.
[30]	刘丽萍, 刘春丽. Publons管理模式对我国同行评审制度的启示[J]. 中国科技期刊研究, 2018,29(7):685-690.
[31]	Anonymous. Make your activity visible as reviews list your opinions on publons.com![J]. Ophthalmologe, 2020,117(9):937-937.
[32]	Swiontkowski M. Publons:The next step in reviewer recognition[J]. Journal of Bone and Joint Surgery, 2019,101(13):1137.
[33]	Wiechert K, Chapman J R, Wang J C. Recognizing our experts:Global spine journal partners with publons to establish reviewers' platform[J]. Global Spine Journal, 2018,8(3):217. doi: 10.1177/2192568218773367 URL pmid: 29796367
[34]	da Silva J A T. Are negative reviews,predatory reviewers or failed peer review rewarded at Publons?[J]. International Orthopaedics, 2020,44(10):2193-2194. doi: 10.1007/s00264-020-04587-w URL pmid: 32382792
[35]	Ortega J L. Exploratory analysis of Publons metrics and their relationship with bibliometric and altmetric impact[J]. Aslib Journal of Information Management, 2019,71(1):124-136.
[36]	王存同. 零膨胀模型在社会科学实证研究中的应用:以中国人工流产影响因素的分析为例[J]. 社会学研究, 2010,25(5):130-148,245.
[37]	李林键, 殷菲, 伯贞艳, 等. 基于零膨胀负二项回归的非梗阻性无精症患者细针抽吸术后镜检精子计数预测研究[J]. 现代预防医学, 2019,46(21):4026-4029.
[38]	李志. 内蒙古自治区森林火灾发生规律及火险评估研究[D]. 北京: 北京林业大学 2019.
[39]	齐绍洲, 张振源. 欧盟碳排放权交易、配额分配与可再生能源技术创新[J]. 世界经济研究, 2019(9):119-133,136.
[40]	张晓晖. 在线问答社区用户社交网络特征对其知识贡献数量的影响研究[D]. 济南: 山东大学 2019.
[41]	程志波, 李正风. 论科学治理中的科学共同体[J]. 科学学研究, 2012,30(2):225-231.
[42]	陈未鹏. 同行评议制度中的学术期刊编辑角色新定位[J]. 福州大学学报(哲学社会科学版), 2020,34(3):104-108.
[43]	常唯, 李自乐, 王成, 等. 开放评议与双盲评议在国际科技期刊质量控制中的价值[J]. 中国科技期刊研究, 2016,27(1):18-24.
[44]	丁晓华, 王宇星, 陈向东. 中美工科高校学术水平差异及其影响因素研究[J]. 高等工程教育研究, 2015(4):93-98.
[45]	包务业, 姬广茜, 杨子明, 等. 中华医学会系列杂志总编问卷调查分析报告[J]. 编辑学报, 2003,15(6):441-443.
[46]	陶范. 论科技期刊编委会的组建原则[J]. 编辑学报, 2004,16(6):403-404.
[47]	王景周. 同行评议中审稿人的知识隐藏行为及其控制策略[J]. 中国科技期刊研究, 2019,30(12):1289-1295.
[48]	Publons. How do I become a Publons community volunteer mentor and how does it work?[EB/OL]. [2020-10-04]. https://publons.freshdesk.com/support/solutions/articles/12000032162-how-do-i-become-a-publons-community-volunteer-mentor-and-how-does-it-work-.w URL

变量名称	变量类型	含义
高质量审稿意见	计数型	该审稿人获得的高质量审稿意见的数量;该变量为本研究的被解释变量
高被引科学家	二分类	1—高被引科学家;0—非高被引科学家
Publons导师	二分类	1—Publons导师;0—非Publons导师
论文发表数量	计数型	该审稿人总共发表论文的数量
经认证的审稿数	计数型	经过 Publons认证的且公开显示的该审稿人的审稿数量
在任期刊编委会成员	二分类	1—目前在任期刊编委会成员;0—目前非在任期刊编委会成员
曾任编委会成员	二分类	1—曾经有过编委会经历;0—过去没有编委会经历
编辑经历	二分类	1—有期刊编辑经历;0—无期刊编辑经历
出版后同行评议经历^*	二分类	1—有出版后同行评议经历;0—无出版后同行评议经历
未经认证的审稿数	计数型	尚未经过Publons认证的、经该审稿人审稿的数量

变量名称	变量类型	含义
高质量审稿意见	计数型	该审稿人获得的高质量审稿意见的数量;该变量为本研究的被解释变量
高被引科学家	二分类	1—高被引科学家;0—非高被引科学家
Publons导师	二分类	1—Publons导师;0—非Publons导师
论文发表数量	计数型	该审稿人总共发表论文的数量
经认证的审稿数	计数型	经过 Publons认证的且公开显示的该审稿人的审稿数量
在任期刊编委会成员	二分类	1—目前在任期刊编委会成员;0—目前非在任期刊编委会成员
曾任编委会成员	二分类	1—曾经有过编委会经历;0—过去没有编委会经历
编辑经历	二分类	1—有期刊编辑经历;0—无期刊编辑经历
出版后同行评议经历^*	二分类	1—有出版后同行评议经历;0—无出版后同行评议经历
未经认证的审稿数	计数型	尚未经过Publons认证的、经该审稿人审稿的数量

变量	2018年		2019年
变量	审稿人数量	占比 /%	审稿人数量	占比 /%
高被引科学家	54	0.89	142	2.51
Publons导师	84	1.39	152	2.68
在任期刊编委会成员	2897	47.83	2731	48.23
曾任编委会成员	812	13.41	849	14.99
编辑经历	1380	22.78	1800	31.79
出版后同行评议经历	161	2.66	176	3.11

变量	2018年		2019年
变量	审稿人数量	占比 /%	审稿人数量	占比 /%
高被引科学家	54	0.89	142	2.51
Publons导师	84	1.39	152	2.68
在任期刊编委会成员	2897	47.83	2731	48.23
曾任编委会成员	812	13.41	849	14.99
编辑经历	1380	22.78	1800	31.79
出版后同行评议经历	161	2.66	176	3.11

变量		最大值	平均值	标准误	标准差
	高质量审稿意见的数量	192	0.27	0.049	3.804
2018年	论文发表数量	1425	34.28	0.932	72.564
	经认证的审稿数	4947	117.83	1.849	143.909
	未经认证的审稿数	401	2.29	0.189	14.704
	高质量审稿意见的数量	262	0.57	0.101	7.603
2019年	论文发表数量	1688	73.74	1.457	109.580
	经认证的审稿数	5547	193.77	2.967	223.168
	未经认证的审稿数	677	2.87	0.232	17.446

选择文件类型/文献管理软件名称

选择包含的内容

高质量的审稿意见与审稿人个体特征的关系——基于对Publons Top Reviewers的实证分析

Relationship between high-quality peer reviews and individual characteristics of reviewers: An empirical study of Publons top reviewers

RichHTML

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 48

相关文章 15

编辑推荐

Metrics

本文评价

关于我们

联系我们

变量	回归系数	标准误	Z	P>Z	95%CI
高被引科学家	-24.576	6896.672	0.00	0.997	[-13541.800, 13492.650]
Publons导师	-1.073	0.880	-1.22	0.223	[-2.798, 0.653]
论文发表数量	0.001	0.002	0.48	0.633	[-0.004, 0.006]
经认证的审稿数	0.005	0.001	4.92	0.000	[0.003, 0.007]
在任期刊编委会成员	0.404	0.231	1.75	0.081	[-0.050, 0.857]
曾任编委会成员	-0.410	0.321	-1.28	0.202	[-1.039, 0.220]
编辑经历	0.699	0.263	2.65	0.008	[0.183, 1.215]
出版后同行评议经历	1.988	0.596	3.33	0.001	[0.819, 3.157]
未经认证的审稿数	0.017	0.016	1.05	0.295	[-0.015, 0.048]
常数项	-3.043	0.175	-17.37	0.000	[-3.386, -2.699]
ln α	3.952	0.084			[3.787, 4.117]
α	52.052	4.384			[44.130, 61.394]

变量	回归系数	标准误	Z	P>Z	95%CI
高被引科学家	-0.911	0.795	-1.15	0.252	[-2.468, 0.647]
Publons导师	0.802	0.563	1.42	0.154	[-0.302, 1.905]
论文发表数量	-0.004	0.001	-3.48	0.000	[-0.006, -0.002]
经认证的审稿数	0.006	0.001	7.68	0.000	[0.004, 0.007]
在任期刊编委会成员	-0.330	0.216	-1.53	0.126	[-0.753, 0.093]
曾任编委会成员	-0.547	0.272	-2.01	0.044	[-1.080, -0.014]
编辑经历	0.863	0.211	4.09	0.000	[0.450, 1.277]
出版后同行评议经历	1.747	0.510	3.43	0.001	[0.748, 2.747]
未经认证的审稿数	0.015	0.011	1.33	0.183	[-0.007, 0.037]
常数项	-2.220	0.175	-12.65	0.000	[-2.563, -1.876]
ln α	3.753	0.067			[3.621, 3.886]
α	42.669	2.878			[37.385, 48.7]

[1]	张园, 张丛, 陶晴, 吴小桃, 郑雅妮. 基于全产业链视角的科技期刊出版产业优化探析[J]. 中国科技期刊研究, 2022, 33(3): 289-295.
[2]	赵昕航, 丁堃, 孙曰君, 张春博, 林原, 高成锴. 学术论文审稿效用研究——以国际会议ICLR同行评议为例[J]. 中国科技期刊研究, 2022, 33(3): 296-304.
[3]	翁彦琴, 胡俊平, 肖玥, 黄沈燚. 科技期刊视域下的创新成果公众传播[J]. 中国科技期刊研究, 2022, 33(3): 328-337.
[4]	曾建林. 加快推进地方省市区域一流科技期刊建设的思考与建议[J]. 中国科技期刊研究, 2022, 33(3): 354-360.
[5]	解贺嘉, 初景利. 国外科技期刊出版伦理研究述评[J]. 中国科技期刊研究, 2022, 33(2): 139-149.
[6]	王飞, 王智博. 国内外出版伦理研究的热点与发展趋势的比较分析[J]. 中国科技期刊研究, 2022, 33(2): 150-158.
[7]	张俊彦, 富群华. 中文科技期刊应对学术不端来稿的案例分析及单刊实践初探[J]. 中国科技期刊研究, 2022, 33(2): 159-166.
[8]	邓强庭, 高霏, 杜焱, 张艺霖, 张铁明, 栾嘉. 国际学术出版技术商面向科技期刊的业务特征分析及启示[J]. 中国科技期刊研究, 2022, 33(2): 167-175.
[9]	贺颖, 秦铭霞. 同行评议参与者角色信息关联测度研究[J]. 中国科技期刊研究, 2022, 33(2): 176-182.
[10]	陆彩女, 顾立平. 开放科学与科技期刊的应对[J]. 中国科技期刊研究, 2022, 33(2): 183-191.
[11]	孔丽华, 习妍, 姜璐璐. 科技期刊关联数据开放共享及出版政策研究[J]. 中国科技期刊研究, 2022, 33(2): 192-199.
[12]	高媛, 徐秀玲, 张冰姿, 赵维杰, 刘素贞, 于晓玲, 任胜利. 提质增量,卓越发展:《国家科学评论》办刊实践与进展[J]. 中国科技期刊研究, 2022, 33(2): 215-221.
[13]	刘燕珍, 闫红霞. 中文SCI科技期刊现状与影响力提升建议[J]. 中国科技期刊研究, 2022, 33(2): 267-272.
[14]	初景利, 王译晗. 中文科技期刊的定位与作用再认识[J]. 中国科技期刊研究, 2022, 33(1): 1-7.
[15]	谢维熙, 张光耀, 王贤文. 开放同行评议视角下学术论文同行评议得分与被引频次的关系[J]. 中国科技期刊研究, 2022, 33(1): 113-121.