游客,您好,欢迎您进入科技信息监测服务平台! 登录 | 注册  帮助中心
您当前的位置: 首页 > 编译内容

编译内容

编译服务: 科技出版市场动态监测 编译者: 崔颖 编译时间: 2024-7-7 点击量: 1094

评估学术活动的领域是广阔、复杂和高度动态的,用于支持这些评估的任何数据和指标的作用也是如此。《下一代欧洲科研评价指标》探讨了高校如何结合定性专业知识和信息,使用当前可用的指标和数据来评估他们的研究评估过程。

文章旨在支持高校根据自己的使命制定指标政策,而不是仅仅依赖标准指标和数据可用性。此外,该文件还打算作为一个框架,供高校确定在特定领域应用与背景相关的指标及其优先事项。

文章特别强调指标在高校之间以及高校与资助机构之间实现这些目标的现有专业知识的重用。

《下一代欧洲科研评价指标》重点关注四个主要领域:

1.下一代指标的发展概况、使用以及局限性。

2.LERU高校指标政策的现状概述。

3.动态可视化展示了利用高校数据的机会,连接现有和潜在的下一代指标。

4.关于下一代指标政策和评估实践的建议。

报告首先概述了在学术界和科学政策之间相互作用的背景下研究指标的演变。深入研究指标的重要性、本质和局限性,同时还研究了指标滥用的根源。随后,探讨与新一代科学计量学(通常称为科学计量学2.0)相关的障碍。之后,比较评价性同行评议和总结性指标的局限性,展示了它们如何作为补充。

使用指标的挑战之一是它们在高校内不正确的汇总和分析级别上频繁应用。它们经常从更高的政策层面“涓涓细流”到科学家的工作中。接下来,讨论一个与当前密切相关的主题:利用下一代指标和高校排名来评估和交流学术研究绩效。

最后,讨论伦理和政治层面,包括如何解决与基于人工智能的指标相关的新兴伦理问题。

报告的第二个焦点:LERU高校目前在下一代指标方面的实施措施。我们对与之相关的所有问题的认识程度如何?换言之,我们对指标的精通程度如何?我们选择将重点放在目前在高校内产生最大程度方面:制定开放科学政策。这可能无法全面了解所有应用领域的指标素养,但它确实是实践和政策中最具活力的维度之一。

该概述来自对可用的高校文件的全面检查以及对所有LERU成员进行的调查。此外,文章还纳入了由LERU特设小组开放科学大使对LERU机构实施开放科学的LERU路线图的审查中的见解,并承认这种方法的局限性。

下一代指标领域是动态的,我们可能错过了个别高校的一些重要发展。然而,当综合考虑时,我们已经对该领域的现状有了相当有力的了解。调查结果揭示了LERU高校及其所在国家/地区与开放科学相关的各种活动和支持。显然,不同的高校和国家处于开放科学发展的不同阶段,有些高校和国家拥有更成熟的支持和监督开放科学的系统。这种多样性可能归因于每所高校或国家寻求满足的特定需求的差异,以及他们对开放科学如何满足这些需求的看法。此外,这种差异可能受到支持和监测开放科学所需资源的不平等的影响。

在机构、国家和国际层面,最完善的开放科学政策和监测主要与出版物的开放获取有关,包括维护定期更新的仪表板,及报告开放获取出版物的百分比。虽然一些高校和国家已经实施了与FAIR数据相关的政策,但与开放获取相比,这些政策的普及程度较低。关于开放科学的其他六大支柱(教育和技能、奖励和激励、下一代指标、研究诚信、公民科学和欧洲开放科学云),正式的政策和监测尚未到位。需要注意的是,开放科学的八大支柱中有许多具有相互关联和重叠的要素。例如,开放获取和FAIR数据的进展有助于提高研究的完整性。因此,可能没有必要为每个支柱制定单独的政策,而是考虑开放科学政策如何同时共同推进多个支柱的发展。

报告的第三个重点涉及研究评估数据可用性的相对较新的挑战。随着机构引入新的价值观、目标和政策,对数据的需求越来越大,以告知、评估和监控其进展。鉴于不同研究学科、团队、部门、机构和国家之间的价值观、目标和政策的多样性,一个放之四海而皆准、不可定制的指标无法充分满足当前的需求。与此同时,我们目睹了越来越多的平台提供带有细粒度数据的机器可读知识图谱,旨在全面捕获研究活动和产出。这些服务和工具提供了大量数据,但与传统的、狭窄的、更具选择性的数据库相比,它们在数据质量方面表现出很大的差异,其记录的完整性程度甚至更加多样化。

此外,他们需要更全面的文档来理解数据并解决偏见和数据差距。高校如何才能最好地应对这一挑战?主要区分以下几方面:

1)细化数据,主要包括研究人员、组织及其研究活动和产出的特征。

2)指标,涉及特定数据计算和组合,允许随着时间的推移、与基线或个人、组织或其他群体进行比较,总结为经过验证且稳健的指标。

3)用于生成或分析数据的算法、代码和软件。

主要建议

本研究提出的36项关键建议为向更符合背景和多样化的指标过渡提供了指导,以支持与机构目标和使命相一致的负责任的总结性和形成性评估。有些是针对高校领导和研究主任的,有些是针对参与研究评估和研究情报的专家,有些主要是针对整个研究界。

 

提供服务
导出本资源