人工智能辅助学术同行评议的应用及分类

doi:10.11946/cjstp.201911220799

中国科技期刊研究 ›› 2021, Vol. 32 ›› Issue (1): 65-74. doi: 10.11946/cjstp.201911220799

人工智能辅助学术同行评议的应用及分类

张彤¹(), 尹欢², 苏磊³, 王静¹, 夏道家¹()

1)《南京航空航天大学学报》《南京航空航天大学学报(英文版)》《数据采集与处理》编辑部,江苏省南京市秦淮区御道街29号 210016
2)南京农业大学《园艺研究》编辑部,江苏省南京市玄武区卫岗1号 210095
3)北京航空航天大学文化传媒集团《航空学报》编辑部,北京市海淀区学院路37号 100083

收稿日期:2019-11-22 修回日期:2020-10-19 出版日期:2021-01-15 发布日期:2021-01-15
通讯作者: 夏道家 E-mail:lee4@nuaa.edu.cn;xdjym@nuaa.edu.cn
作者简介:张彤(ORCID:0000-0001-9942-3879),博士研究生,编辑,E-mail: lee4@nuaa.edu.cn;|尹欢,博士研究生,编辑部主任;|苏磊,硕士,编辑;|王静,博士,编辑。
基金资助:
中国科技期刊卓越行动计划选育高水平办刊人才子项目—青年人才支持项目(2020ZZ111042)

Application and classification of AI-assisted academic peer review

ZHANG Tong¹(), YIN Huan², SU Lei³, WANG Jing¹, XIA Daojia¹()

1) Editorial Office of Journal of Nanjing University of Aeronautics and Astronautics, Transactions of Nanjing University of Aeronautics and Astronautics, and Journal of Data Acquisition and Processing, 29 Yudao Street, Qinhuai District, Nanjing 210016, China
2) Editorial Office of Horticlulture Research, Nanjing Agricultural University, 1 Weigang, Xuanwu District, Nanjing 210095, China
3) Editorial Office of Acta Aeronautica et Astronautica Sinica, Cultural Media Group Ltd., Beihang University, 37 Xueyuan Road, Haidian District, Beijing 100083, China

Received:2019-11-22 Revised:2020-10-19 Online:2021-01-15 Published:2021-01-15
Contact: XIA Daojia E-mail:lee4@nuaa.edu.cn;xdjym@nuaa.edu.cn

摘要/Abstract

摘要：

【目的】 分析人工智能(Artificial Intelligence, AI)作为辅助工具在学术同行评议中的创新应用,提出未来发展建议。【方法】 首先通过文献调研法和案例分析法,比较国内外AI辅助学术同行评议的应用实践;其次按功能对其进行分类,并阐述其主要支撑算法;最后展望AI在学术同行评议领域的未来发展方向。【结果】 国内方面,AI推荐审稿人功能被应用于基金评审,但AI学术影响力预测功能尚停留在研发阶段;国外方面,除学术不端检测功能外,其他功能的应用均处于起步阶段。按功能不同,AI辅助同行评议可分为投稿审查、审稿人推荐和学术影响力预测3类。其未来发展方向为:评议流程和文本结构的标准化、智能算法的通用化、评议专家库和已发表学术论文数据库的集成化;最终AI将发挥评议主体功能。【结论】 科研机构与学术期刊应积极参与全文文献数据库与全球审稿人数据库等相关数字基础设施建设,加快AI在学术同行评议中的应用,进一步推进该领域的数字化和智能化。

关键词: 同行评议, 人工智能, 学术不端检测, 审稿人推荐, 学术影响力预测

Abstract:

[Purposes] This paper aims to summarize the innovative applications of artificial intelligence (AI) in academic peer review and point out the future development directions of AI in academic peer review. [Methods] Through literature research and case study, we compared the practices in AI-assisted academic peer review in China and abroad, and then classified them into three types by function to further describe the main supporting algorithms for each type. On this basis, we estimated the future development directions of AI in academic peer review. [Findings] In China, AI-based reviewer recommendation has been applied to selecting grant reviewers, but the function of AI in academic impact prediction is still being developed. In foreign countries, except for academic misconduct detection, other functions of AI are still in their infancy in application. AI-assisted peer review is classified into preliminary review of papers, recommendation of reviewer, and prediction of academic impact. Standardized review process and paper structure, generalized intelligent algorithms, and integrated reviewer expert database and published academic paper database should be the future development directions of AI-assisted peer review, so that AI can play a key role in peer review. [Conclusions] Scientific journals should actively participate in building digital infrastructures such as full-text database and global reviewer database, thereby speeding up the application of AI in scientific peer review and pushing forward the digitalization and intelligentization of academic publishing.

Key words: Peer review, Artificial intelligence (AI), Detection of academic misconduct, Recommendation of reviewer, Prediction of academic impact

张彤, 尹欢, 苏磊, 王静, 夏道家. 人工智能辅助学术同行评议的应用及分类[J]. 中国科技期刊研究, 2021, 32(1): 65-74.

ZHANG Tong, YIN Huan, SU Lei, WANG Jing, XIA Daojia. Application and classification of AI-assisted academic peer review[J]. Chinese Journal of Scientific and Technical Periodicals, 2021, 32(1): 65-74.

https://www.cjstp.cn/CN/Y2021/V32/I1/65

图/表 3

参考文献 65

[1]	谭铁牛. 人工智能的历史、现状和未来[J]. 智慧中国, 2019(Z1):87-91.
[2]	范军, 陈川. 人工智能在欧美学术出版领域的应用及其启示[J]. 河南大学学报(社会科学版), 2020,60(1):144-149.
[3]	Horvat M. Reform and cooperation in China[J]. Science, 2018,362(6416):727. URL pmid: 30442779
[4]	Cyranoski D. Artificial intelligence is selecting grant reviewers in China[J]. Nature, 2019,569(7756):316-317. doi: 10.1038/d41586-019-01517-8 URL pmid: 31089232
[5]	Chubin D L E, Hackett E J. Peerless science:Peer review and U.S. science policy[M]. New York: State University of New York Press, 2011.
[6]	张彤, 周云霞, 蔡斐, 等. 学术期刊同行评议的历史演进[J]. 中国科技期刊研究, 2019,30(6):588-595.
[7]	张彤. 学术期刊开放同行评议多层次模块化[J]. 编辑学报, 2019,31(5):490-497.
[8]	羊晚成, 杨丹丹. 2008—2017年我国编辑出版学领域数据科学研究[J]. 科技与出版, 2018(5):86-91.
[9]	陈鸿, 刘育猛, 裴孟. 人工智能与期刊发展融合的机遇、挑战和实践路径研究[J]. 中国科技期刊研究, 2019,30(3):217-224.
[10]	张海生, 吴朝平. 人工智能与出版融合发展:内在机理、现实问题与路径选择[J]. 中国科技期刊研究, 2019,30(3):225-231.
[11]	刘银娣. 学术出版领域的人工智能应用:现状、挑战与应对[J]. 科技与出版, 2019(1):64-68.
[12]	黄历. 人工智能在科技期刊出版领域中的应用现状与发展趋势[M]//刘志强. 学报编辑论丛. 上海: 上海大学出版社, 2019: 361-365.
[13]	江虎军, 郝艳妮, 徐岩英, 等. 国家自然科学基金项目同行评议的智能化探讨[J]. 中国科学基金, 2019,33(2):149-153.
[14]	Yang L, Vembu S, Adawi A, et al. Enabling editors through machine learning:Examining the data science behind Meta Bibliometric Intelligence[EB/OL]. (2016-10-10)[2019-07-20]. https://medium.com/@meta_6493/enabling-editors-through-machine-learning-81b528b496ce URL
[15]	Mrowinski M J, Fronczak P, Fronczak A,et al. Artificial intelligence in peer review:How can evolutionary computation support journal editors?[J]. PLoS ONE, 2017,12(9):e0184711. doi: 10.1371/journal.pone.0184711 URL pmid: 28931033
[16]	Price S, Flach P A. Computational support for academic peer review[J]. Communications of the ACM, 2017,60(3):70-79.
[17]	李贺, 杜杏叶. 基于知识元的学术论文内容创新性智能化评价研究[J]. 图书情报工作, 2020,64(1):93-104.
[18]	夏竹云, 胡祥培, 蓝华, 等. 稿件处理的智能决策支持系统研究[J]. 中国科技期刊研究, 1996,7(2):40-43.
[19]	CNKI科研诚信管理系统研究中心. 产品列表[EB/OL]. [2019-07-06]. http://check.cnki.net/Article/pro/Index.html. URL
[20]	汪雨培, 王东波. 学术不端文献检测技术与系统研究综述[J]. 江苏科技信息, 2018(23):17-21.
[21]	张旻浩, 高国龙, 钱俊龙. 国内外学术不端文献检测系统平台的比较研究[J]. 中国科技期刊研究, 2011,22(4):514-521.
[22]	李智, 李敏强. 基金项目评审管理中智能交互式文档检索[J]. 研究与发展管理, 2005,17(3):106-110.
[23]	冷疏影. 同行评议辅助指派实验系统研究取得阶段性成果[J]. 中国科学基金, 2013,27(3):160-162,166.
[24]	Chawla D S. Controversial software is proving surprisingly accurate at spotting errors in psychology papers, 2017-11-28)[2019-07-06]. https://www.sciencemag.org/news/2017/11/controversial-software-proving-surprisingly-ac curate-spotting-errors-psychology-papers URL
[25]	Nuijten M B. R package "statcheck":Extract statistics from articles and recompute p values[EB/OL].[2019-06-30].https://mbnuijten.com/statcheck/https://mbnuijten.com/statcheck/. URL
[26]	Freedman L P, Venugopalan G, Wisman R. Reproducibility2020:Progress and priorities[J]. F1000Research, 2017,6:604.
[27]	Sakaluk J K, Graham C A. Promoting transparent reporting of conflicts of interests and statistical analyses at The Journal of Sex Research[J]. The Journal of Sex Research, 2017,55(1):1. doi: 10.1080/00224499.2017.1395387 URL pmid: 29148841
[28]	Journal of Experimental Social Psychology. JESP piloting the use of Statcheck[EB/OL].[2019-07-04].https://www.journals.elsevier.com/journal-of-experimental-social-psychology/news/jesp-piloting-the-use-of-statcheck. URL
[29]	PsychOpen. PsychOpen uses Statcheck tool for quality check[EB/OL]. (2017-07-06)[2019-07-06]. https://www.psychopen.eu/news/article/psychopen-uses-statcheck-tool-for-quality-check/ URL
[30]	PubPeer. Comments on "The prevalence of statistic reporting errors in psychology (1985-2013)"[EB/OL]. [2019-06-30]. https://pubpeer.com/publications/2B9320F0BCF7929F5 75AA29450599F URL
[31]	Ariessys. StatReviewer report[EB/OL].[2019-07-15].https://www.ariessys.com/wp-content/uploads/StatReviewer-Sample-Report.pdf. URL
[32]	StatReviewer. Automated statistical support for journals and authors[EB/OL]. [2019-07-15]. http://www.statreviewer.com/. URL
[33]	Lammey R. The cross-publisher originality screening initiative[EB/OL]. (2014-11-03)[2019-07-04]. https://training.cochrane.org/sites/training.cochrane.org/files/public/uploads/resources/downloadable_resources/English/Crosscheck_webinar_Oct2014.pdf URL
[34]	Upshall M. Combining human input with machine learning:A case study[J]. Learned Publishing, 2018,31(2):157-160.
[35]	董文杰, 李苑. 科技期刊智能出版工具:UNSILO平台[J]. 中国科技期刊研究, 2020,31(6):702-709.
[36]	Frontiers. AI-enhanced peer review:Frontiers launches next generation of efficient,high-quality peer review[EB/OL]. ( 2018-12-14)[2019-07-20]. https://blog.frontiersin.org/2018/12/14/artificial-intelligence-peer-review-assistant-aira/ URL
[37]	Heaven D. AI peer reviewers unleashed to ease publishing grind[J]. Nature, 2018,563(7733):609-610. URL pmid: 30482927
[38]	Aries Marketing Admin. Artificial intelligence integration allows publishers a first look at Meta Bibliometric Intelligence[EB/OL]. (2016-10-17)[2019-07-20]. https://www.ariessys.com/views-press/press-releases/artificial-intelligence-integration-allows-publishers-first-look-meta-bibliometric-intelligence/ URL
[39]	Aiur. The team behind Project Aiur[EB/OL].[2019-06-17].https://projectaiur.com/team/. URL
[40]	Knowles K. Blockchain for scientists takes on Elsevier:The business the internet couldn't kill[EB/OL]. (2018-06-13)[2019-06-28]. https://www.forbes.com/sites/kittyknowles/2018/06/13/blockchain-science-iris-ai-project-aiur-elsevier-acad emic-journal-london-tech-week-cogx/#1a20af1f1e0a URL
[41]	徐丽芳, 王钰. 科技内容产业的鼎新革故:2018海外科技期刊出版动态研究[J]. 科技与出版, 2019(2):13-22.
[42]	Harwood J. Start-up story:Penelope[J]. Insights the UKSG Journal, 2017,30(1):96-99.
[43]	Shanahan D. A peerless review? Automating methodological and statistical review, 2016-05-23)[2019-01-18]. https://blogs.Biomedcentral.com/bmcblog/2016/05/23/peerless-review-automating-methodological-statistical-review/ URL
[44]	Nuijten M B, Hartgerink C H J, van Assen M A L M. et al. The prevalence of statistical reporting errors in psychology (1985-2013)[J]. Behavior Research Methods, 2016,48(4):1205-1226. doi: 10.3758/s13428-015-0664-2 URL pmid: 26497820
[45]	Chawla D S. Here's why more than 50000 psychology studies are about to have PubPeer entries[EB/OL]. (2016-09-02)[2019-07-15]. https://retractionwatch.com/2016/09/02/heres-why-more-than-50000-psychology-studies-are-about-to-have -pubpeer-entries/Retraction Watch 2016. URL
[46]	国家新闻出版署. 中华人民共和国新闻出版行业标准:学术出版规范期刊学术不端行为界定(CY/T 174—2019)[J]. 北京:中国标准出版社, 2019.
[47]	Alzahrani S M, Salim N, Abraham A. Understanding plagiarism linguistic patterns,textual features,and detection methods[J]. IEEE Transactions on Systems,Man,and Cybernetics,Part C (Applications and Reviews), 2012,42(2):133-149.
[48]	Eisa T A E, Salim N, Alzahrani S. Existing plagiarism detection techniques[J]. Online Information Review, 2015,39(3):383-400.
[49]	Rodriguez M A, Bollen J. An algorithm to determine peer-reviewers[C]//Proceeding of the 17th ACM conference on Information and knowledge mining - CIKM'08,October 26-30,2008,Napa Valley,California,USA. New York: ACM Press, 2008: 319-328.
[50]	王文福. 网络时代期刊论文隐形学术不端挖掘策略[J]. 中国科技期刊研究, 2016,27(7):677-682.
[51]	朱银周. 刻意规避学术不端软件检测论文的再审查[J]. 编辑学报, 2015,27(3):249-251.
[52]	Charlin L, Zemel R S. The Toronto paper matching system:An automated paper-reviewer assignment system[C]. Proceedings of the 30th International Conference on Machine Learning,Atlanta,USA:[s.n.], 2013.
[53]	Taylor C J. On the optimal assignment of conference papers to reviewers:MS-CIS-08-30[R]. Philadelphia:Computer and Information Science Department,University of Pennsylvania, 2008.
[54]	Kou N M, Leong H U, Mamoulis N, et al. Weighted coverage based reviewer assignment[C]//Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data-SIGMOD'15,May 27-June 4,2015. Melbourne,Victoria,Australia. New York: ACM Press, 2015: 2031-2046.
[55]	Sidiropoulos N D, Tsakonas E. Signal processing and optimization tools for conference review and session assignment[J]. IEEE Signal Processing Magazine, 2015,32(3):141-155. doi: 10.1109/MSP.2014.2359230 URL
[56]	白晓梅. 基于社会网络分析的学术影响力评估与预测[D]. 大连:大连理工大学, 2017.
[57]	王海燕, 潘云涛, 马峥, 等. 基于科学研究问题成熟度的未来高影响力科技论文预测研究[J]. 情报学报, 2016(1):36-47.
[58]	丁筠. 学术期刊影响力指数(CI)预测模型的构建[J]. 情报科学, 2017,35(2):27-32,37.
[59]	李静, 徐路路. 基于机器学习算法的研究热点趋势预测模型对比与分析:BP神经网络、支持向量机与LSTM模型[J]. 现代情报, 2019,39(4):23-33.
[60]	Peng S C, Zhou Y M, Cao L H,et al. Influence analysis in social networks:A survey[J]. Journal of Network and Computer Applications, 2018,106:17-32.
[61]	Chen T Q, Guestrin C. XGBoost:A scalable tree boosting system [C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,San Francisco California USA. New York,USA:ACM, 2016: 785-794.
[62]	樊玮, 韩佳宁, 张宇翔. 基于网络表示学习的论文影响力预测算法[J]. 计算机工程, 2019,45(12):160-165,170.
[63]	Page L, Brin S, Motwani R,et al. The PageRank citation ranking:Bringing order to the web[R]. Stanford:Stanford InfoLab, 1999.
[64]	Wang S Z, Xie S H, Zhang X M,et al. Coranking the future influence of multiobjects in bibliographic network through mutual reinforcement[J]. ACM Transactions on Intelligent Systems and Technology, 2016,7(4):1-28.
[65]	人民网. 习近平讲故事:人工智能具有很强的头雁效应[EB/OL]. (2019-07-26)[2019-08-01]. http://cpc.people.com.cn/n1/2019/0726/c64094-31256975.html. URL

年份	国别	AI	嵌入的审稿系统	应用者	主要功能
2007	美国	CrossCheck	无	CrossRef与 iParadigms合作开发	论文学术不端检测,支持英、中、韩等语种
2008	中国	知网学术不端检测平台	无	国内期刊与作者	学术不端检测,主要针对中文论文,也可检测英文论文
2012	中国	NSFC智能指派系统	无	NSFC	通过语义分析比较基金申请书和潜在审稿人的研究方向,并据此遴选审稿人
2012	丹麦	UNSILO	ScholarOne	Clarivate Analytics、 Taylor & Francis、 Springer Nature、 BMJ、 Wiley	“格式检查”确保论文符合期刊要求及规范;运用NPL和ML分析稿件,概括论文重要观点与结果,并重新给出关键词;与既有文献比对,排查雷同观点,使编辑更易作出判断;智能匹配审稿人
2015	荷兰	Statcheck	单刊的审稿系统	主要为心理学学术期刊	评估论文中的统计数据和方法,但目前仅能检测APA格式的稿件
2015	美国	Project Aiur	无	Iris.ai	基于区块链和AI技术的透明同行评议及出版服务
2016	美国	StatReviewer	Editorial Manager	Aries Systems	评估论文中的统计数据和方法
2016	美国	MBI	Editorial Manager	Aries Systems	估计单篇稿件的未来被引频次和学术影响力
2016	英国	Wizdom.ai	无	Taylor & Francis	文献数据库挖掘,提取不同学科和概念之间的联系,可视为一种知识图谱工具
2017	英国	Penelope^[42]	无	作者、学术期刊(如Addiction)	检查稿件的节标题、伦理声明、基金信息、摘要、图表和参考文献格式等是否符合期刊要求;核查论文中的统计数据
2018	瑞士	AIRA	Frontiers Review Forum	Frontiers	标记论文中的语言表达问题,进行学术不端检测,并推荐审稿人

年份	国别	AI	嵌入的审稿系统	应用者	主要功能
2007	美国	CrossCheck	无	CrossRef与 iParadigms合作开发	论文学术不端检测,支持英、中、韩等语种
2008	中国	知网学术不端检测平台	无	国内期刊与作者	学术不端检测,主要针对中文论文,也可检测英文论文
2012	中国	NSFC智能指派系统	无	NSFC	通过语义分析比较基金申请书和潜在审稿人的研究方向,并据此遴选审稿人
2012	丹麦	UNSILO	ScholarOne	Clarivate Analytics、 Taylor & Francis、 Springer Nature、 BMJ、 Wiley	“格式检查”确保论文符合期刊要求及规范;运用NPL和ML分析稿件,概括论文重要观点与结果,并重新给出关键词;与既有文献比对,排查雷同观点,使编辑更易作出判断;智能匹配审稿人
2015	荷兰	Statcheck	单刊的审稿系统	主要为心理学学术期刊	评估论文中的统计数据和方法,但目前仅能检测APA格式的稿件
2015	美国	Project Aiur	无	Iris.ai	基于区块链和AI技术的透明同行评议及出版服务
2016	美国	StatReviewer	Editorial Manager	Aries Systems	评估论文中的统计数据和方法
2016	美国	MBI	Editorial Manager	Aries Systems	估计单篇稿件的未来被引频次和学术影响力
2016	英国	Wizdom.ai	无	Taylor & Francis	文献数据库挖掘,提取不同学科和概念之间的联系,可视为一种知识图谱工具
2017	英国	Penelope^[42]	无	作者、学术期刊(如Addiction)	检查稿件的节标题、伦理声明、基金信息、摘要、图表和参考文献格式等是否符合期刊要求;核查论文中的统计数据
2018	瑞士	AIRA	Frontiers Review Forum	Frontiers	标记论文中的语言表达问题,进行学术不端检测,并推荐审稿人

选择文件类型/文献管理软件名称

选择包含的内容

人工智能辅助学术同行评议的应用及分类

Application and classification of AI-assisted academic peer review

RichHTML

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 3

参考文献 65

相关文章 15

编辑推荐

Metrics

本文评价

关于我们

联系我们

[1]	赵昕航, 丁堃, 孙曰君, 张春博, 林原, 高成锴. 学术论文审稿效用研究——以国际会议ICLR同行评议为例[J]. 中国科技期刊研究, 2022, 33(3): 296-304.
[2]	王飞, 王智博. 国内外出版伦理研究的热点与发展趋势的比较分析[J]. 中国科技期刊研究, 2022, 33(2): 150-158.
[3]	贺颖, 秦铭霞. 同行评议参与者角色信息关联测度研究[J]. 中国科技期刊研究, 2022, 33(2): 176-182.
[4]	谢维熙, 张光耀, 王贤文. 开放同行评议视角下学术论文同行评议得分与被引频次的关系[J]. 中国科技期刊研究, 2022, 33(1): 113-121.
[5]	占莉娟, 李牧, 叶珊珊. 期刊开放同行评议的概念界定、类型构建及专家接受度再探[J]. 中国科技期刊研究, 2022, 33(1): 31-39.
[6]	治丹丹, 任亮. 社会·结构·制度·功能:同行评议韧性治理的四维路径——以区块链出版平台Pluto Network为例[J]. 中国科技期刊研究, 2022, 33(1): 40-48.
[7]	孙静, 匡红艳, 曲艳丽. 中文学术期刊审稿专家诚信制度建设现状调查及分析[J]. 中国科技期刊研究, 2021, 32(9): 1098-1104.
[8]	朱琳峰, 李楠, 张婷婷. 学术期刊同行评议的问题及效率与质量提升策略[J]. 中国科技期刊研究, 2021, 32(8): 990-997.
[9]	占莉娟, 刘锦宏, 胡小洋, 霍振响. 学术期刊专家审稿工作评价的实施现状与推进策略[J]. 中国科技期刊研究, 2021, 32(7): 844-850.
[10]	徐婷婷. 高校学报网站同行评议伦理规范的调查与完善建议[J]. 中国科技期刊研究, 2021, 32(7): 859-865.
[11]	于晓梅, 张业安, 吴坚. 新媒体环境下学术期刊审稿人激励机制的优化——基于“审稿人积分制”的思考[J]. 中国科技期刊研究, 2021, 32(6): 749-756.
[12]	唐耕砚, 贾景文. 中文学术期刊“审稿透明原则”的概念、实施状况及内容[J]. 中国科技期刊研究, 2021, 32(6): 757-764.
[13]	万志超, 蔡静雯, 姜海, 郑颖, 杜乾栋. 国际同行评议中审稿意见造假现象及相关的学术不端防范[J]. 中国科技期刊研究, 2021, 32(5): 571-575.
[14]	贺颖, 付江阳. 透明性同行评议:产生、内涵与建构[J]. 中国科技期刊研究, 2021, 32(3): 332-336.
[15]	王瑞, 曾广翘. 国外期刊小组同行评议与协作同行评议模式研究[J]. 中国科技期刊研究, 2021, 32(3): 353-359.