ESI是文献计量学方法显示一些学科发展水平的指标,近年来有关部门作为评价学科和科研绩效的依据,关于资源分配,大学以ESI指标为目标,出现了一系列功能性“考试”倾向,可以有意识地寻找指标的漏洞来进行功能性“问题”,这个指标的本意是什么? 本文进行的分析具有一定的价值和意义,特别是与读者分享。
为什么ESI很受欢迎
基本科学指标数据库( Essential Science Indicators,简称ESI )是根据收录在SCI (科学引用索引)和SSCI (社会科学引用索引)中的世界11000多种学术期刊的1000万份文献记录而建立的计量分析数据库。 通过对数据库中过去10年的数据进行统计,根据其22个学科领域,从不同角度对科研生产力、影响力、创新力和发展力四个层次的指标和论文数量、论文被引用的频率、论文被引用的频率、被引用的频率、被引用的论文、被引用的论文、尖端论文等层次的指标进行国家/ 全面测量地区科研水平、机构学术声誉、科学家学术影响力和期刊学术水平,根据引用频率的高低确定测量研究成绩的阈值,给出位于世界前1%、前1‰等数据领域的研究机构、科学家、研究论文排名等。
ESI原本是揭示学科发展水平、趋势和热点的指标之一,具有自身的价值和意义。 但2010年前后这一指标成为我国科研评价的新宠儿以来,ESI在国内的价值和意义发生了变化。
2012年ESI指标被纳入教育部第三学科评价体系,热情直升。 2015年以来的“二流”建设作为新时期的高等教育发展战略,学科发展是其重要目标,这与ESI学科排名功能高度协调,大学和科研人员对此指标引起了前所未有的重视。
ESI在一定程度上激发了国内大学学科发展的热情,一些大学也获得了更加明亮的数据。 根据软科统计,2016年9月至2019年9月3年的数据显示,我国高校学科数量显着增加了ESI的1%、1‰、1个。 以以前1%的学科为例,从绝对数量来看,中国高中每年学科数量超过100。 2016年9月我国高中入选总数为745个,到2017年9月为止增加了121个,为866个,2018年为971个,2019年9月为1138个,3年累计增加了52.8%。
我国高中整个学科的发展很高兴得到这样的数据,但与世界顶尖高中的差距依然很明显。 以哈佛大学为例,ESI的前1个学科数为8个,这个数字是中国所有大学排行榜的总数,中国大学空间科学的前1%学科数目还没有达到零。
重视ESI是不错的,唯一或核心地评价ESI的标准是错误的。 例如在东部的一个省份,ESI的前1‰被规定为省级的二流,2‰不同。 这个唯一的ESI指南严重扭曲和误解了科学研究的发展。
我们大学和科研机构对ESI的执着已经到了病态程度,不仅要像“库丁解牛”那样分析ESI的各项指标,还要根据本校的情况制定丰富的ESI学科建设计划,投入的经费达到百万, 手段上更是如此:或者赞扬真金白银被高度评价的作者,或者以高工资挖掘高产论文的作者,或者指导学者追寻引人注目的论文,还有人不惜通过各种途径提高引用率……以建设一流大学为追求一流数据
ESI作为评价指标存在着“水土不服”
对于ESI,我们立场必须明确反对ESI,但不是不用,而是科学合理利用,对ESI需要更全面的认识,特别是中国国情和发展需要相结合。
评价一门学科实力是一个多维、多层次的复杂问题。 ESI通过文献计量方法将学科排名作为统一尺度下学科发展的参考是不容谴责的,但它提供的是比较客观的维度,ESI基于SCI等指标,因此不仅继承了SCI的特性,也存在独特的问题。
首先,ESI划分的学科与中国学科不“互换性”。 我国目前有13个一级学科和100多个二级学科,由ESI划分的22个学科相当于大类,与国内这些学科不完全一致,学科排名必然难以直接对应。 以ESI“工程学科”为例,涵盖国内的信息工程、机电工程、自动化、建筑工程、环境工程等多个二级学科,假设某工程强校的ESI“工程学科”占世界前1%,实际上不知道它是哪个二级学科强。 在这样粗放的学科区分下,如果进入同一领域的刊物,其性质和兴趣的方向会有很大的不同。
其次,引用上的脆弱性和一些学科的误差。 理论上,论文的引用数越多,质量越高,论文的引用情况不是作者自己计算的。 但这是ESI中有“犁”。 由于ESI本身没有区别是自引还是他的引用,所以对“刷子”的引用提供了现实的可能性。 同时,ESI在计算机等学科的误差也很大,是因为计算机的最新工作通常先于会议论文集,而ESI是基于SCI计算的,几乎不包括会议文献,有关计算机学科的统计不准确。 需要特别注意的是,ESI的前1%并不是指前100名。 这是一个很大的误区,由于很多学科的研究机构基数很大,如临床医学学科4000多家进入前1%,这个数字进入前1%,到真正成为“一流”还不够。
最后,ESI不能全面反映我国高校的任务和职能。 我国高校的基本任务是人才培养、科研、社会服务、文化传承等功能,而ESI排名的依据是论文相关数据。 只是,高中的其他职能没有统一、比较的指标,单方面强调ESI指标,必然会偏离大学发展的初心,扭曲大学的职能走向另一个极端。
过度迎合ESI会使大学学科布局畸形发展
客观地说,ESI作为学科评价指标比SCI、EI等指标有一定的进步,对我国各大学学科的参考意义也很大。 但是,ESI作为目标进入大学评价体系,关于资源分配,其弊端很快出现,学术和科研宏观层面的破坏力大于SCI,最重要的是扭曲了大学学科的成长动力、方向和目的,引起了我国学科布局的畸形发展。
第一,从学科自然成长到“拔苗助长”。 高校学科发展逻辑首先要立足于本校的实际,根据国家发展战略要求和科学发展趋势、学科相关性、地方政府需求等进行“自然”树突增长,但从提高ESI排名的角度出发,某高校没有ESI指标体系学科就会受损。 另外,ESI系统中的学科也很容易发表论文,与难以发表论文的不同之处在于,很多大学掀起了开设医学院、农学部、材料学院的热潮,但仅占了容易发表论文的ESI学科的“一亩三分”,地方政府在重视ESI指标的基础上进行的经费支付的方向性更加突出
第二,导致人文与工程类特色学科衰退。 ESI的22门学科中,人文学科只有2门,涉及经济学与商学、社会科学总论,国内许多文史类学科难以应对,以人文学科为中心的大学“受伤”,各个顺序急速下跌,不受重视,在陷入资源逐渐减少的尴尬境地的同时,具有地质、矿业、电力、石油等特色学科的大学也是如此 到目前为止,必然导致人文和工程特色学科的衰退,给我国学科整体的发展带来了不可逆的重大损失。
第三,教授只关心科学研究。 对于大学教授来说,教育、科研和公共服务始终是最基本的三项任务,特别是前两项“一冈双务”是海外一流大学的基本要求,他们要做好科研工作,取得高水平的科研成果,做好教育,培养优秀的学生。 但是,ESI的指标是论文主导,高中为了符合指标只能在资源配置上下功夫,论文的数量和质量与职场、报酬、作用、帽子、晋升等身边的利益密切相关,这个是非常明确的,教育不仅与身边的利益没有多大关系,量化和评价也很困难。 在精力分配的二八原则下,科研“龙马精神”教育的“稀疏日常”混乱自然出现也是建设一流本科需要解决的问题。
构建符合国情的高校评价指标体系
改革开放40年来的学术、科技评价体系一直向公平公正的方向发展,SCI和ESI都抱有这样良好的期待进入评价体系,但仍然逃不出“应试”倾向的功利化魔法。
应该说对大学和学者的评价是复杂的过程。 原则上定性和定量结合评价更为恰当,但其中多为“硬骨头”,需要通过建设中国特色科研评价体系逐步解决,有关部门应进一步完善科研和高校评价机制,鼓励正确的科研观、学术观,着眼于长期学科建设和人才培养,管理过度依赖量化指标 请参考下面的想法
第一,制定满足中国高等教育实际要求的评价指标。 实现科学评价需要适当的指标体系。 我们既然目前受到ESI、SCI等指标不完整的束缚,国家就应该长期制定符合中国国情的科研指标。 学生可以称之为大学,以人才培养质量为评价指标体系的第一位,评价中以“培养过程质量”“在校生质量”和“毕业生质量”为评价的主要指标,以大学如何提高在校生的内生学习热情为主要评价,是中国高等教育亟待解决的问题。
第二,加强第三方评价体系建设。 在世界高等教育强国的评价体系中,第三方评价体系是不可或缺的一部分。 中国需要培养相对稳定的高层次社会咨询评价机构,承担具体的评价活动。 政府出资的项目均由第三方机构负责评价,由有关部门负责监督,建立严格准入退出的第三方评价体系,对建立更合理的评价体系至关重要。
第三,建立更合理的分类评价体系。 科技评价应充分发挥同行专家的作用,根据不同类型的科技活动特点,建立明确、注重激励约束的分类评价标准,营造专注于学问、追求真理的创新文化氛围。 注重科技创新质量和实际贡献,强调围绕科学前沿和生产实际需求的重大成果生产方向,着力提高基础研究和尖端技术研究的原始创新能力,着眼于共同技术的有效供给能力,支持高质量创新人才培养能力,着力服务国家和区域经济社会发展战略需求。
科技评价分类对科技工作者、创新团队、平台基地、科研项目等不同对象,要鼓励科技工作者在不同领域、不同岗位创造特色,追求卓越性。 根据基础研究、应用研究、技术转移、成果转化等不同工作特点,分别建立科研诚信、创新质量、学术贡献、人才培养、科普与开放共享等评价维度,形成更科学合理的评价体系。
第四,加强新技术在评价体系中的应用。 大数据、人工智能时代,各种新技术都可以为评价体系的完善提供有力的支持。 利用公开的数据资料,计算一定的评价权重,通过相关数据的智能处理,评价系统获得了比较真实的科研水平和发展全景,全面反映了教育和科研各个维度,不仅是论文数量的统计。
(作者:李志民,中国教育发展战略学会副会长兼人才发展专门委员会理事长,清华大学兼任教授)