Construction and empirical study of evaluation index system for digital scholarship service capability of scientific journals cluster platform

doi:10.11946/cjstp.202411251288

Abstract

Abstract:

[Purposes] This study is committed to constructing a scientifically and operable evaluation index system for digital scholarship service capability of scientific journals cluster platform, providing theoretical guidance and practical reference for them to better serve scientific research and academic publishing, and to build and enhance digital scholarship service capabilities. [Methods] We established a capability maturity model and level description for digital scholarship service capability of scientific journals cluster platform based on capability maturity model. Then we established the capability hierarchy model by conducting literature review, case studies, and expert interviews, and identified key capability elements, determined evaluation indicators and their weights. Finally, we evaluated four typical cluster platforms of scientific journals. [Findings] The evaluation index system of the digital scholarship service capability of scientific journals cluster platform established after expert consultation and questionnaire survey includes 3 dimensions, 14 primary indicators, and 37 secondary indicators, which can be used for practical evaluation. [Conclusions] Empirical evidence showed that the evaluation index system is feasible for evaluating the digital scholarship service capability of scientific journals cluster platform. The empirical data can serve as a reference for the construction and improvement of the digital scholarship capability of China's scientific journals cluster platform.

Key words: Scientific journals, Journal clusters, Digital scholarship service, Evaluation indicator system

摘要：

【目的】构建科学合理、可操作的科技期刊集群平台数字学术服务能力评价指标体系,为科技期刊集群平台更好地服务科学研究与学术出版、建设并提升数字学术服务能力提供理论指导与实践借鉴。【方法】基于能力成熟度模型建立科技期刊集群平台数字学术服务能力成熟度模型及等级体系;通过文献、案例调研和专家访谈,构建能力层次结构模型,析出关键能力要素,确定评价指标和各指标权重,并对国内外4个典型科技期刊集群平台实施测评。【结果】经过专家咨询与问卷调研后,确立科技期刊集群平台数字学术服务能力评价指标体系,包含3个维度、14个一级指标和37个二级指标,可用于实际测评。【结论】实证测评结果表明,本研究所建立的评价指标体系对科技期刊集群平台数字学术服务能力评价具有可行性,实证结果数据可为我国科技期刊集群平台数字学术服务能力建设与提升提供参考和借鉴。

关键词: 科技期刊, 期刊集群, 数字学术服务, 评价指标体系

LI Hanxiao, DU Xingye, CAO Kerui. Construction and empirical study of evaluation index system for digital scholarship service capability of scientific journals cluster platform[J]. Chinese Journal of Scientific and Technical Periodicals, 2025, 36(3): 311-323.

李涵霄, 杜杏叶, 曹珂瑞. 科技期刊集群平台数字学术服务能力评价指标体系构建及实证研究[J]. 中国科技期刊研究, 2025, 36(3): 311-323.

/ / Recommend / Download Citations

URL: https://www.cjstp.cn/EN/10.11946/cjstp.202411251288

https://www.cjstp.cn/EN/Y2025/V36/I3/311

Figures/Tables 11

能力等级	特征	目标
5-优化级	服务创新优化	形成系统的服务体系,持续改进与提升服务内容
4-管理级	实现量化管理	通过量化评价,提供高质量服务,满足潜在需求
3-已定义级	形成服务规范	把控服务过程,提升服务细粒度,形成竞争优势
2-可重复级	提供服务项目	基于项目经验,规范服务流程,建立服务基础
1-初始级	产生服务意识	感知用户需求,初步开展数字学术服务

衡量尺度	衡量尺度计算公式	界值计算公式	指标保留要求
算术平均数	x-= $x 1 + x 2 + … + x n n$	界值= $x -$ -σ	得分>界值
4分和5分占比	y= $评分为 4 分和 5 分的专家数参与评分的全部专家数$	界值= $x -$ -σ	得分>界值
变异系数	C_v= $σ x -$	界值= $x -$ +σ	得分<界值

衡量尺度	衡量尺度计算公式	界值计算公式	指标保留要求
算术平均数	x-= $x 1 + x 2 + … + x n n$	界值= $x -$ -σ	得分>界值
4分和5分占比	y= $评分为 4 分和 5 分的专家数参与评分的全部专家数$	界值= $x -$ -σ	得分>界值
变异系数	C_v= $σ x -$	界值= $x -$ +σ	得分<界值

评价维度	一级指标	二级指标	指标含义
A 知识服务能力	A1 知识集成能力	A11 知识资源集成能力	提供覆盖面广、层次分明、结构合理的期刊数字资源
	A1 知识集成能力	A12 特色资源集成能力	提供具有特色的专题数字资源,建设学科专题库
	A2 知识组织能力	A21 知识导航能力	提供多角度、多种类的知识导航及以知识单元为节点的知识地图
		A22 知识检索能力	提供多维度、多类型的知识检索功能以及检索扩展
		A23 知识揭示能力	描述、揭示知识结构(如知识类别、领域)与语义,重新整合知识单元,实现知识有序化便于用户利用
	A3 知识产品开发能力	A31 知识关联能力	建立知识间语义关联,提供基于引文的知识脉络分析,基于词频的共现分析,基于内容的语义精准推荐
		A32 知识深度分析能力	对检索结果进行深度分析与比较分析
		A33 知识服务创新能力	根据用户需求,提供定制化的智能知识服务产品与数字解决方案
	A4 技术工具支持能力	A41 知识服务系统支持能力	提供具有安全保障,稳定易用的服务系统
	A4 技术工具支持能力	A42 科研软件工具支持能力	提供针对不同科研环节的智能软件工具及相应的使用指导与培训
	A5 知识服务人员能力	A51 用户需求获取分析能力	知识服务人员全面及精确地获取、分析与研判用户知识需求
		A52 技术学习应用能力	知识服务人员及时学习技术工具应用,掌握知识服务技能
		A53 决策方案产出能力	知识服务人员根据用户需求,将已有知识资源转化为个性化决策方案
B 出版服务能力	B1 投审稿支持能力	B11 投审稿指南制定能力	制定不同学科、类型期刊的投审稿指南及相应说明
		B12 投审稿系统建设能力	提供数字化投审稿系统,支持数字化论文投稿与评审
		B13 评审专家协同能力	组织协调各学科领域的评审专家进行论文评审
	B2 科研伦理审查能力	B21 科研诚信政策制定能力	发布并及时更新科研诚信、科研伦理相关政策要求(包含自行制定政策或根据上级主管单位或国际权威标准等方式确定科研诚信政策)
	B2 科研伦理审查能力	B22 学术不端检测能力	通过检测工具、贡献说明等方式审查学术不端情况
	B3 数据存储发布能力	B31 科研数据政策制定能力	发布并及时更新科研数据提交、存储等相关政策要求(包含自行制定政策或使用国际国内权威科研数据政策)
	B3 数据存储发布能力	B32 数据仓储建设及合作能力	建设或推荐合作的数据存储库,支持数据提交、存储、管理与发布
	B4 数字出版能力	B41 开放获取出版能力	支持科研成果以开放获取形式出版
		B42 预印本建设及合作能力	与预印本平台合作,支持科研成果以预印本形式发布
		B43 富媒体出版能力	支持科研成果以富媒体形式出版(如视频期刊,交互式图表,化学结构、实验流程的可视化展示等)
		B44 数据出版能力	支持科研原始数据、加工数据或数据产品的出版与引用
	B5 出版服务人员能力	B51 论文投审稿指导能力	出版服务人员为用户的数字化投审稿、数据提交等提供及时解答与指导
		B52 学术质量控制能力	出版服务人员根据自身学术能力,把控同行评议流程,为作者提供指导性修稿建议
		B53 出版质量控制能力	出版服务人员根据自身出版业务能力,把控稿件编校流程
C 传播服务能力	C1 论文推送能力	C11 论文内容重构能力	对论文内容进行深入挖掘与要点提取
		C12 论文可视化能力	对论文核心内容进行可视化加工
		C13 论文智能匹配能力	建立论文内容标签与用户标签智能匹配机制,支持论文个性化推送
	C2 传播渠道建设能力	C21 社交媒体渠道建设能力	建立社交媒体链接支持科研成果的传播推广
	C2 传播渠道建设能力	C22 科研社区渠道建设能力	建设虚拟科研社区支持科研人员的学术交流与合作(如作者论坛、专题小组、学术直播等)
	C3 科研影响评价能力	C31 学术影响评价能力	对科研成果学术影响进行计量评价与可视化呈现(指标如:下载量、被引频次、h指数、影响因子等)
	C3 科研影响评价能力	C32 社会影响评价能力	对科研成果社会影响进行计量评价与可视化呈现(指标如:新闻提及数、政策引用数、社交媒体提及数等)
	C4 传播服务人员能力	C41 辅助成果传播能力	传播服务人员利用数字技术或新媒体技术辅助科研成果网络传播(如通过微信、微博或APP进行宣传推介)
		C42 引导学术交流能力	传播服务人员指导科研社区利用,引导学术交流与合作互动
		C43 评价报告产出能力	传播服务人员对科研成果的传播效果与影响力进行深入分析并产出评价报告

评价维度	一级指标	二级指标	指标含义
A 知识服务能力	A1 知识集成能力	A11 知识资源集成能力	提供覆盖面广、层次分明、结构合理的期刊数字资源
	A1 知识集成能力	A12 特色资源集成能力	提供具有特色的专题数字资源,建设学科专题库
	A2 知识组织能力	A21 知识导航能力	提供多角度、多种类的知识导航及以知识单元为节点的知识地图
		A22 知识检索能力	提供多维度、多类型的知识检索功能以及检索扩展
		A23 知识揭示能力	描述、揭示知识结构(如知识类别、领域)与语义,重新整合知识单元,实现知识有序化便于用户利用
	A3 知识产品开发能力	A31 知识关联能力	建立知识间语义关联,提供基于引文的知识脉络分析,基于词频的共现分析,基于内容的语义精准推荐
		A32 知识深度分析能力	对检索结果进行深度分析与比较分析
		A33 知识服务创新能力	根据用户需求,提供定制化的智能知识服务产品与数字解决方案
	A4 技术工具支持能力	A41 知识服务系统支持能力	提供具有安全保障,稳定易用的服务系统
	A4 技术工具支持能力	A42 科研软件工具支持能力	提供针对不同科研环节的智能软件工具及相应的使用指导与培训
	A5 知识服务人员能力	A51 用户需求获取分析能力	知识服务人员全面及精确地获取、分析与研判用户知识需求
		A52 技术学习应用能力	知识服务人员及时学习技术工具应用,掌握知识服务技能
		A53 决策方案产出能力	知识服务人员根据用户需求,将已有知识资源转化为个性化决策方案
B 出版服务能力	B1 投审稿支持能力	B11 投审稿指南制定能力	制定不同学科、类型期刊的投审稿指南及相应说明
		B12 投审稿系统建设能力	提供数字化投审稿系统,支持数字化论文投稿与评审
		B13 评审专家协同能力	组织协调各学科领域的评审专家进行论文评审
	B2 科研伦理审查能力	B21 科研诚信政策制定能力	发布并及时更新科研诚信、科研伦理相关政策要求(包含自行制定政策或根据上级主管单位或国际权威标准等方式确定科研诚信政策)
	B2 科研伦理审查能力	B22 学术不端检测能力	通过检测工具、贡献说明等方式审查学术不端情况
	B3 数据存储发布能力	B31 科研数据政策制定能力	发布并及时更新科研数据提交、存储等相关政策要求(包含自行制定政策或使用国际国内权威科研数据政策)
	B3 数据存储发布能力	B32 数据仓储建设及合作能力	建设或推荐合作的数据存储库,支持数据提交、存储、管理与发布
	B4 数字出版能力	B41 开放获取出版能力	支持科研成果以开放获取形式出版
		B42 预印本建设及合作能力	与预印本平台合作,支持科研成果以预印本形式发布
		B43 富媒体出版能力	支持科研成果以富媒体形式出版(如视频期刊,交互式图表,化学结构、实验流程的可视化展示等)
		B44 数据出版能力	支持科研原始数据、加工数据或数据产品的出版与引用
	B5 出版服务人员能力	B51 论文投审稿指导能力	出版服务人员为用户的数字化投审稿、数据提交等提供及时解答与指导
		B52 学术质量控制能力	出版服务人员根据自身学术能力,把控同行评议流程,为作者提供指导性修稿建议
		B53 出版质量控制能力	出版服务人员根据自身出版业务能力,把控稿件编校流程
C 传播服务能力	C1 论文推送能力	C11 论文内容重构能力	对论文内容进行深入挖掘与要点提取
		C12 论文可视化能力	对论文核心内容进行可视化加工
		C13 论文智能匹配能力	建立论文内容标签与用户标签智能匹配机制,支持论文个性化推送
	C2 传播渠道建设能力	C21 社交媒体渠道建设能力	建立社交媒体链接支持科研成果的传播推广
	C2 传播渠道建设能力	C22 科研社区渠道建设能力	建设虚拟科研社区支持科研人员的学术交流与合作(如作者论坛、专题小组、学术直播等)
	C3 科研影响评价能力	C31 学术影响评价能力	对科研成果学术影响进行计量评价与可视化呈现(指标如:下载量、被引频次、h指数、影响因子等)
	C3 科研影响评价能力	C32 社会影响评价能力	对科研成果社会影响进行计量评价与可视化呈现(指标如:新闻提及数、政策引用数、社交媒体提及数等)
	C4 传播服务人员能力	C41 辅助成果传播能力	传播服务人员利用数字技术或新媒体技术辅助科研成果网络传播(如通过微信、微博或APP进行宣传推介)
		C42 引导学术交流能力	传播服务人员指导科研社区利用,引导学术交流与合作互动
		C43 评价报告产出能力	传播服务人员对科研成果的传播效果与影响力进行深入分析并产出评价报告

W	A	B	C
A	—	W_ab	W_ac
B	W_ba	—	W_bc
C	W_ca	W_cb	—

科技期刊集群平台数字学术服务能力评价	A知识服务能力	B出版服务能力	C传播服务能力	权重
A知识服务能力	—	3.0000	3.0000	0.6000
B出版服务能力	0.3333	—	1.0000	0.2000
C传播服务能力	0.3333	1.0000	—	0.2000

评价维度	权重	一级指标	权重	二级指标	权重
A	0.3344	A1	0.1070	A11	0.0642
		A1	0.1070	A12	0.0428
		A2	0.0487	A21	0.0181
				A22	0.0174
				A23	0.0132
		A3	0.0699	A31	0.0190
				A32	0.0250
				A33	0.0260
		A4	0.0686	A41	0.0353
		A4	0.0686	A42	0.0333
		A5	0.0401	A51	0.0132
				A52	0.0126
				A53	0.0143
B	0.3945	B1	0.1453	B11	0.0457
				B12	0.0540
				B13	0.0457
		B2	0.0570	B21	0.0252
		B2	0.0570	B22	0.0318
		B3	0.0831	B31	0.0380
		B3	0.0831	B32	0.0451
		B4	0.0622	B41	0.0153
				B42	0.0108
				B43	0.0157
				B44	0.0204
		B5	0.0467	B51	0.0117
				B52	0.0200
				B53	0.0150
C	0.2711	C1	0.0637	C11	0.0205
				C12	0.0191
				C13	0.0241
		C2	0.0785	C21	0.0370
		C2	0.0785	C22	0.0415
		C3	0.0798	C31	0.0433
		C3	0.0798	C32	0.0365
		C4	0.0490	C41	0.0182
				C42	0.0144
				C43	0.0164

评价因素	Elsevier	Wiley	CNKI	SciEngine
A1知识集成能力	3.94	3.72	4.01	3.84
A2知识组织能力	3.80	3.68	3.90	3.65
A3知识产品开发能力	3.79	3.73	3.94	3.69
A4技术工具支持能力	3.88	3.80	3.84	3.68
A5知识服务人员能力	3.72	3.59	3.71	3.50
A知识服务能力	3.85	3.72	3.91	3.71
B1投审稿支持能力	3.90	3.74	3.81	3.66
B2科研伦理审查能力	3.94	3.80	3.91	3.72
B3数据存储发布能力	3.87	3.83	3.81	3.74
B4数字出版能力	3.96	3.85	3.93	3.71
B5出版服务人员能力	3.88	3.79	3.77	3.63
B出版服务能力	3.91	3.80	3.85	3.69
C1论文推送能力	3.87	3.79	3.93	3.66
C2传播渠道建设能力	3.81	3.74	3.74	3.57
C3科研影响评价能力	3.96	3.76	3.97	3.70
C4传播服务人员能力	3.79	3.61	3.77	3.64
C传播服务能力	3.86	3.73	3.86	3.64
数字学术服务能力	3.88	3.75	3.87	3.68

References 45

[1]	李立睿, 王博雅. 国外iSchools高校图书馆数字学术服务调查与分析[J]. 情报理论与实践, 2019, 42(6):172-176. doi: 10.16353/j.cnki.1000-7490.2019.06.030
[2]	杜鹏, 赵秉钰, 孙粒, 等. 新时代科研范式变革的内涵及应对[J]. 中国科学院院刊, 2023, 38(7):991-1000.
[3]	四部门联合印发《关于深化改革培育世界一流科技期刊的意见》[EB/OL].[2024-04-03]. https://www.cast.org.cn/art/2019/8/16/art_79_100359.html. URL
[4]	中共中央宣传部教育部科技部印发《关于推动学术期刊繁荣发展的意见》的通知[EB/OL].[2024-04-03]. http://www.nppa.gov.cn/nppa/contents/312/76209.shtml. URL
[5]	张维, 汪勤俭, 王维朗, 等. 中外对比视角下中国科技期刊集群化发展路径分析[J]. 科技与出版, 2021(11):52-61.
[6]	王维, 黄延红, 任胜利. 国际出版机构期刊集群化发展及启示[J]. 中国科技期刊研究, 2021, 32(5):596-600. doi: 10.11946/cjstp.202009030791
[7]	罗英姣, 朱民, 李海洋, 等. 中华医学会医学期刊集群化发展的模式分析[J]. 出版与印刷, 2016(3):27-31.
[8]	于成, 李雨佳. 科学出版社SciEngine平台造船出海的经验与挑战[J]. 中国传媒科技, 2023(3):143-146.
[9]	刘俊, 张昕, 颜帅. 大学出版社学术期刊集群化运营模式研究:以清华大学出版社期刊中心为例[J]. 编辑学报, 2016, 28(6):561-565.
[10]	杜杏叶, 李涵霄. 爱思唯尔数字学术服务模式研究及启示[J]. 中国科技期刊研究, 2022, 33(8):1065-1074. doi: 10.11946/cjstp.202205020341
[11]	Zudilova-seinstra E, Klompenhouwer M, Heeman F, et al. The future of the academic journal[M]. Oxford: Chandos Publishing, 2014:357-377.
[12]	Cassella M, Calvi L. New journal models and publishing perspectives in the evolving digital environment[J]. IFLA Journal-International Federation of Library Associations, 2010, 36(1):7-15.
[13]	陈建华. 媒体融合环境下科技期刊知识服务创新的探索[J]. 中国科技期刊研究, 2017, 28(12):1099-1103. doi: 10.11946/cjstp.201707170592
[14]	Biemesderfer C. Fully digital: policy and process implications for the AAS[C]// 2nd Colloquium on Future Professional Communication in Astronomy (FPCA II). Harvard-Smithsonian Ctr Astrophys, Cambridge, MA, 2011:83-89.
[15]	Hu B, Qin X M. A Scheme of the cross-media digital publishing system based on XML[C]// International Conference on Information Technology for Manufacturing Systems (ITMS 2011). Shanghai, China, 2011:608-612.
[16]	邓迎, 郑继承, 童菲, 等. 中国光学期刊网数字出版服务探索与实践[J]. 中国科技期刊研究, 2013, 24(5):951-954.
[17]	邓强庭, 高霏, 杜焱, 等. 国际学术出版技术商面向科技期刊的业务特征分析及启示[J]. 中国科技期刊研究, 2022, 33(2):167-175. doi: 10.11946/cjstp.202104140325
[18]	Naughton L, Kernohan D. Making sense of journal research data policies[J]. Insights, 2016, 29(1):84-89.
[19]	Jeong G H. Status of the data sharing policies of scholarly journals published in Brazil, France, and Korea and listed in both the 2018 Scimago Journal and Country Ranking and the Web of Science[J]. Science Editing, 2020, 7(2):136-141.
[20]	方恒, 宋立荣. 国内外期刊机构科学数据出版政策研究[J]. 情报杂志, 2022, 41(3):181-190.
[21]	孔丽华, 习妍, 张晓林. 数据出版的趋势、机制与挑战[J]. 中国科学基金, 2019, 33(3):237-245.
[22]	尹欢, 孔敏, 张彤, 等. 英文学术期刊学术社区的探索与思考:以《园艺研究》为例[J]. 中国科技期刊研究, 2021, 32(8):1040-1048. doi: 10.11946/cjstp.202102090134
[23]	Taylor M, Jensen K S H. Engaging and supporting a university press scholarly community[J]. Publications, 2018, 6(2):1-8.
[24]	翁彦琴, 王雪峰, 张恬, 等. 科技期刊新兴增值服务模式及启示[J]. 中国科技期刊研究, 2019, 30(6):635-641. doi: 10.11946/cjstp.201903070146
[25]	赵志宏, 孙守增, 刘桦, 等. 数字出版时代科技期刊的服务特性[J]. 科技与出版, 2015(5):85-88.
[26]	刘新永, 林玲娜, 柯文辉. 人工智能技术在科技期刊出版中的应用[J]. 科技传播, 2019, 11(17):15-17.
[27]	赵燕萍. 基于出版流程构建科技期刊智能出版平台的研究[J]. 出版广角, 2020(10):46-48.
[28]	翁彦琴, 王雪峰, 张恬, 等. 科技期刊新兴增值服务模式及启示[J]. 中国科技期刊研究, 2019, 30(6):635-641. doi: 10.11946/cjstp.201903070146
[29]	赵志宏, 孙守增, 刘桦, 等. 数字出版时代科技期刊的服务特性[J]. 科技与出版, 2015(5):85-88.
[30]	韩磊. 学术期刊服务科研的方法及提升策略[J]. 编辑学报, 2015, 27(2):167-169.
[31]	代艳玲, 朱拴成, 杨正凯, 等. 科技期刊参与科技创新活动的服务模式与实践[J]. 中国科技期刊研究, 2018, 29(4):339-343. doi: 10.11946/cjstp.201712191053
[32]	朱晓华, 何书金, 袁丽华. 中国地理与资源期刊集群化服务平台的发展与实践[J]. 地理学报, 2017, 72(5):918-941. doi: 10.11821/dlxb201705012
[33]	田丁, 朱江, 史梦琪, 等. 面向开放获取的科技期刊知识服务竞争性能力及其合作模式的构建与应用[J]. 科技与出版, 2018(3):101-106.
[34]	Tsakonas G, Papatheodorou C. Analysing and evaluating usefulness and usability in electronic information services[J]. Journal of Information Science, 2006, 32(5):400-419.
[35]	翟欣, 姚伟欣, 潘志萍. 面向知识服务的科技期刊编辑信息能力探析[J]. 科技管理研究, 2020, 40(12):168-172.
[36]	郝爽. 我国科技期刊专业集群化知识服务平台研究[D]. 南京: 南京大学, 2018.
[37]	李涵霄. 科技期刊集群平台数字学术服务能力评价研究[D]. 北京: 中国科学院大学, 2023.
[38]	杨蕾. 专业集群模式在当前中国科技期刊发展阶段的历史使命探究[J]. 中国出版, 2021(6):3-9.
[39]	Longmeier M M, Murphy S A. Framing outcomes and programming assessment for digital scholarship services: A logic model approach[J]. College & Research Libraries, 2021, 82(2):142-157.
[40]	杜杏叶, 李涵霄, 彭琳, 等. 科技期刊数字学术服务概念、内容与现状[J]. 中国科技期刊研究, 2021, 32(8):998-1006. doi: 10.11946/cjstp.202105280447
[41]	张旭. 高校图书馆智库型服务体系构建及能力评价研究[D]. 长春: 吉林大学, 2019.
[42]	段美珍. 智慧图书馆建设评价模型与应用研究[D]. 北京: 中国科学院大学, 2020.
[43]	杜杏叶, 李涵霄, 祝璐颖. 面向科研全流程的科技期刊数字学术服务框架构建[J]. 中国科技期刊研究, 2022, 33(9):1161-1170.
[44]	刘佳. 数字图书馆知识服务能力评价研究[D]. 长春: 吉林大学, 2010.
[45]	李涵霄, 杜杏叶. 近20年计算机与信息科学领域研究进展:IPM期刊主题分析[J]. 知识管理论坛, 2022, 7(1):24-36.

Please choose a citation manager

Content to export