汉唐归来
惟有中华

库叔 :“SCI”神话早该破了! |2020-02-25

据教育部网站消息,近日,教育部、科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见》,对破除论文“SCI至上”提出明确要求。

 

《意见》强调,要准确理解SCI论文及相关指标,深刻认识论文“SCI至上”带来的负面影响。同时,积极探索建立科学的评价体系,推动高等学校回归学术初心,净化学术风气,优化学术生态。

 

SCI(科学引文索引)是目前国际上流行的科技文献检索工具,通过统计大量引文得出期刊的影响因子等量化指标来对期刊进行排名。按目前的国际惯例,一般用学术期刊的影响因子值来测度期刊的学术水平和论文质量。库叔观察到,学术界普遍存在对影响因子的崇拜现象。

 

其实,关于“影响因子”的神话,早该破了!上海交通大学讲席教授、科学史与科学研究院首任院长江晓原,近日在北京大学科学技术与医学史系和国研院联合举办的系列科技讲座上,详细讲解了“影响因子”游戏。

 

究竟该如何破除“影响因子崇拜”,不妨系统了解一下影响因子的来龙去脉。本文整理自江晓原教授的讲座报告。

 

 

1

“不明觉厉”的影响因子

 

 


 

先来讲“影响因子”游戏。影响因子是我们评价学术刊物影响力的重要指标,这似乎是全世界学术圈的一个“默契”,人们对它不明觉厉。

 

被我们称为顶级“神刊”的Nature、Science、《柳叶刀》等期刊为什么权威?很多人回答的理由是——影响因子很高。比如Nature的影响因子经常在40左右,《柳叶刀》则经常在50以上。

 

一个刊物的影响因子高就能让人对它充满崇拜,这是一件较为奇怪的事情。因为影响因子其实是一个游戏,我们拿“韩春雨事件”举例,他所发的《自然·生物技术》(Nature Biotechnology)刊物是Nature的子刊,那一年(2016)该子刊的影响因子值是43,比Nature还要高(38.138)。后来,因为韩春雨的试验大家都重复不了,最后他选择了撤稿。

 

我有一个美国留学生跟我读博士,但他是一个中国人,对国内情况非常熟悉。最初他听说韩春雨做的工作是“诺奖级”的说法时,就表示了质疑。他还说“这种试验要很多钱,那个东西不靠谱吧”。我说那个研究发在了《自然·生物技术》上,他一看,“哎呦,影响因子那么高”,于是他就信了。

 

这个例子说明,在你不了解情况的时候,一听说某篇文章发在一个影响因子很高的刊物上,自己就“跪”下去了,觉得那肯定很厉害。影响因子确实对我们影响很大,但是我们要知道它到底是怎么一回事。

 

2

改名又转卖的私营机构

 

 


 

提到影响因子,我们会想到SCI数据库,这个库从最初几百份刊物,到现在收录达9000多份。而从1975年开始发表的JCR报告(《期刊引用报告》,Journal Citation Reports),就是基于SCI数据库做出来的一个排名,根据论文被引用的情况、影响因子的数值来排名。

 

国内很多人以前都想当然地认为,“SCI”数据库、“JCR报告”、“影响因子”等都是由国际著名情报机构发布,事实上,发布报告的机构是一家私人商业公司,只不过注册者把这家公司取名叫“科学情报研究所”。

 

加菲尔德是创立这个商业公司的人,他晚年曾告诉他人,为什么把自己的文化公司叫“科学情报研究所”,是因为人们听了会以为是一个“非营利的政府机构”,这对于发展中国家效果非常明显。

 

其实这就是一个商业行为,加菲尔德本人正是通过这份创业积累了财富成为富豪的。在定名为“科学情报研究所”之前,他也试过别的名称,比如说有一段时间叫做“加菲尔德学会”,听着就像搞“伪科学”的地方,效果确实不好。

 

作为私人企业,它有辉煌的业绩:1960年公司改名“科学情报研究所”,简称ISI;1964年开始出版SCI报告(科学引文索引,Scientific Citation Index);1973年推出SSCI(社会科学引文索引,Social Sciences Citation Index),扩大到人文领域;1975年推出JCR报告,这个报告是最重要的,影响因子排名游戏从这里开始;1978年又推出A & HCI,进一步扩大到艺术等方面。

 

但是下面的情况很多人并不知道:1964年,“科学情报研究所”向华尔街风投出售了20%的股权,对于这次出售加菲尔德后来挺后悔,因为他当时财务不好,需要卖点股权来缓解。1988年,他又向JPT出版公司卖出50%以上的股权,这样一来JPT公司变成控股,随后汤森路透收购了JPT公司(1992年),成了“科学情报研究所的控股人”。一直到2016年,转卖给了它现在的主人——加拿大科睿唯安。

 

一家国内许多人想象的“国际权威科学机构”,被转卖过三次。大家“跪拜”的对象这样被人卖来卖去,情何以堪?你把它想得那么神圣,其实它就在被卖来卖去,这就证明了它的私营性质。2016年第三次转卖后,大家对它的私人性质逐渐没了异议。

 

3

公式的奥妙

 

 


 

本来搞排名游戏在江湖上是比较“流氓”的行为,但加菲尔德确实是个人才。这个排名游戏此后深刻地影响了全世界的学术生态,而这一点当初加菲尔德自己肯定也没有料到。

 

下面我们要讨论的是如何操控影响因子。这跟私营公营没有关系,一个公营的机构同样可以操控。

 

先说一点简单的历史场景,NatureScience两个刊物在影响因子推出之初扮演了非常特殊的角色。学界对影响因子的推出,刚开始是存在很多异议的,当时加菲尔德在这两个刊物上大量发文鼓吹影响因子;并且,加菲尔德和Nature之间似乎有心照不宣的“共谋”,因为这两个刊物那时从来不登对影响因子有异议的文章。

 

最初影响因子的公式和现在用的并不一样。1975年,加菲尔德修改了公式。最初定义下的NatureScience排名相当靠后,但一经他修改,排名就大幅提升。更重要的是,加菲尔德通过修改定义,为杂志指明了一个操控影响因子的方向。至于他跟NatureScience之间是否有“密谋”,这个咱不知道,也没有证据。所谓心照不宣,大家看明白了照着来就行,用不着讲出来。如今Nature又号召反抗影响因子了,这不是我们今天要讨论的,先把怎么操控影响因子搞清楚。

 

 

 

如图所示,一份期刊前两年中发表的“源刊文本”在当年度的总被引用数,除以该期刊在前两年所发表的“引用项”文章总篇数,即为该期刊当年度的影响因子数值。

 

要注意的是这个公式中分子部分的措辞。分子部分的“源刊文本”一词,其实就是“杂志上刊登的全部文章”,而“源刊文本”又被区分为“引用项”和“非引用项”两类,在通常情况下,“引用项”对应着学术文本,“非引用项”对应着非学术文本。也就是说,分子部分,包括了该期刊上前两年所刊登的全部文本在当年度所产生的全部引用。

 

这里头奥妙在于,如果你把你的刊物办成引用项很少,比如说一期刊物上只登1篇Article(学术论文),引用项的分母就是“1”,但所有的其他文本产生的引用作为“源刊文本”都会出现在分子上。所以,只要尽可能把分母搞小,分子搞大,你的影响因子就会上去。

 

对影响因子公式的理解上,国内大部分的学者、媒体和刊物都是错误的。我们中国人习惯是,比如办一个学术刊物的一期容量有10篇文章,我们就会基本上都登成Article(学术论文),比如北大学报,现在随便找一期肯定绝大部分都是Article,可能偶尔一两次会刊登重要会议介绍之类的。我们中国人认为,“源刊文本”就等于“引用项”。

 

我们就去查加菲尔德在1975年修改影响因子公式后的期刊数据库发现,Nature、Science、《柳叶刀》、《新英格兰医学杂志》等杂志全都一样,从1975年开始逐渐减少Article数量,把引用项的数越弄越小,其中减少得特别厉害的是《柳叶刀》。

 

对西方学术界来说,公式中的“两年期限”在最初提时就存在争议。有人做过研究,对很多人文刊物来说,后面十年产生的引用会非常大,所以两年不合理。至于公式中选取的时间跨度为什么是两年,这是是一个枝节问题,我们现在先解决主要问题——如何利用这个公式操控影响因子。

 

4

两栖捷径:减小分母

 

 


 

具体怎么操控?现在,Nature大概每期上面有三四篇Article,剩下的都不是,但剩下的那么多内容也会产生引用,不能认为只有Article才会引用。我们有严格的统计证明,非Article内容也产生了很高的引用,所以只要把Article数量减少,影响因子的数值就上去了。

 

 随机选取的一期Nature杂志目录

 

用这种方式办的刊物叫“两栖刊物”:既有学术文本也有大量非学术文本。Nature、Science、《柳叶刀》、《新英格兰医学杂志》都是这样办的——学术文本仅占杂志总篇数的10%左右。所以,学术文本就是 “引用项”,非学术文本就是“非引用项”,全部的文章属于“源刊文本”。

 

在中国几乎找不到两栖刊物:学术刊物全部都是“Articles”,科普刊物呢,索性一篇Article也没有。所以,在中国科普刊物显然不能进入这个游戏,因为Article是“零”。中国人就认为,别人的神刊也是这么办的,实际上人家的办刊手法里有各种“猫腻”。

 

我们看到,好多年了全世界影响因子游戏中的TOP20几乎没变过,都是内部变动。在前20名中,有10份都是“两栖刊物”。

 

西方一些学者的研究证明,“非引用项”对影响因子的贡献,比值在6%~50%,《柳叶刀》则高于50%,这是显性贡献。另外,“非引用项”对影响因子还有隐性贡献,这个相对复杂。比如在一个知名度很高的传播平台上刊登学术文本,和在一个纯粹的学术期刊上登同样的学术文本,它产生的引用数和阅读量是不一样的。

 

有一个奇特的例子就是《纽约时报》:它每个月会选若干篇学术文本,将整篇Article登在报纸上。一般来说,这种Article纽约时报的读者不会看。但是碰上了有一年《纽约时报》闹罢工,结果在罢工期间报纸不得不缩减版面,于是那些登Article的版面被省掉了,只出现Article标题。过了一阵子罢工结束,版面重新又恢复了。这个事情被研究者统计数据后,得出了什么结论呢?

 

一篇医学论文登在一个医学杂志上的阅读量是很有限的,但它被《纽约时报》刊登后,阅读量和引用量都增大了。而Nature、Science、《柳叶刀》、《新英格兰医学杂志》等就相当于各自领域中的“纽约时报”,由于它们早就把自己经营成一个非常时尚的刊物,读者广泛,所以你发在Nature上的文章引用量肯定比发在《北大学报》上的引用量高。“引用量高”的成就中就有Nature上非学术文本的隐性贡献,为什么?道理很简单,还回到《纽约时报》。

 

作为知名传播平台的《纽约时报》因什么出名?难道是因为每个月刊登的Article吗?绝大部分《纽约时报》的读者不可能去读这些Article,这个报纸之所以著名是因为纽约时报上登了很多其他的内容,那些内容使得纽约时报变得知名。

 

同样道理,如果Nature上全都是Article,它的读者不会有那么多,所以那些非引用项对文章的阅读和引用就是有贡献的。

 

Nature上还有科幻小说专栏,我写了文章告诉读者,但又有人来对我质问,说你指出这个是什么动机?你是不是想黑Nature

 

我说没想黑它,我只是告诉你们它上面有科幻小说,我又没说登科幻小说就不好。

 

后来,我干脆去译了一本《 Nature 杂志科幻小说选集》,给大家看看那些小说全是Nature上登的。小说集出版后,科幻界的人非常赞赏,他们夸我做了一件大好事。因为他们觉得科幻小说居然在Nature上都有专栏,极大地提高了科幻小说的格调。但那些跪拜Nature的粉丝们就很义愤,说你用科幻小说这个东西拉低了Nature的层次。我特别挑了里面有一篇11岁小女孩写的小说给他们看,人家11岁小女孩写篇文章让她爸改改就能发Nature,所以你觉得它还有那么神圣吗?

 

5

综述为王:搞大分子

 

 


 

TOP20影响因子“神刊”中,还有10本属于另一种运作——综述为王,指的是刊登Review(综述文章)。国内一般来说,在学术刊物上偶尔会登Review,我们把它看成是一个“准”学术文章。在国内,有些学校规定研究生要发文章才能答辩,有些学校甚至括弧注明需要发表“非综述文章”。

 

中国人一般把Review看得比原创的Article低,但对于影响力因子来说,综述文章是一个特别好的东西。有研究证明,一篇综述文章的引用率通常是一篇正常Article的好几倍。

 

既然Article引用没那么高,那多登点Review不就行了嘛。比如Nature就有固定的Review文章,但因为Nature已选择了“两栖”道路,所以“Review”只是一个栏目。

 

还有很多刊物想到,既然Review的文章引用率高,那就办一个纯Review的刊物,那每篇文章的引用率都很高。这个想法很有道理,在TOP20“神刊”里的另外10份就是纯Review文章刊物。

 

比如是常年居于TOP20第一名的刊物《临床医师癌症杂志》(CA: A Cancer Journal for Clinicians),它在影响因子游戏中的数值已经超过200(2018年为244.585)。这家刊物靠什么把自己影响因子搞成这么高?就是因为每年都要发两篇Review,其中有一篇关于癌症的几乎年年都一样的,作者一样、结构也一样,就是数据更新下就行,这个Review让它常居“神刊”顶端。

 

还有《晶体学报A》(Acta Crystallographica, Section A),虽然它现在没什么名气,排名很低,但当年曾经因为一篇“高引”的综述文章一下子上升到全球第2名。所有人都惊呆了,一篇Review就能将杂志“火箭般地”从2000名开外升到全球第2名。但是由于影响因子公式规定计算的年份是发表后2年,第3年就不算了,所以到第3年又落回2000名以后,这个例子说明,如果真去玩这个游戏,我们看到它多么有趣。

 

ISI关于Review的定义是,符合以下四条中任意一条就可以算Review,不需要同时满足:第一,参考文献超过100项,这个很容易满足。第二,发表在综述期刊或者期刊综述栏目上。这个稍微有点难,因为期刊得有栏目。第三,标题上有综述或评论字样,这也很容易。还有更简单的,第四,文章摘要中表明该文是综述或评论。

 

另外,影响因子还可以“讨价还价”,虽然我刚才说了JCR报告上每年都要说一遍影响因子公式,用文字陈述公式的计算方法,但它里头藏着“猫腻”:到底什么是分母上的引用项,什么是非引用项,是由ISI来认定的。他们从来不告诉别人是根据什么原则认定的,这也许是故意的,这样他就可以“上下其手”。比如《柳叶刀》,有一次它把来信投稿分成两类,其中一类要经过同行评议。但ISI把同行评议的部分都算成了引用项,这样一来分母就变大了,导致排名就下滑好几十名。于是,《柳叶刀》就慌了,赶紧去跟ISI交涉,结果同意了,经过同行评议的部分不算在引用项,于是《柳叶刀》又回到排名的前面。

 

关于《公共图书馆医学杂志》(PLOS Medicine)的例子更有趣。他们在创刊的时候跟汤森路透ISI联系,要求算影响因子。杂志自身估算影响因子应该是11,可是等JCR报告出来时给出的影响因子只有3。当年拍档和我谈到此事时我就开玩笑,说如果争取下,也许会取平均值的7。事实上经过交涉,该杂志的影响因子变成了8,和我估计的很接近了。《公共图书馆医学杂志》要求ISI给出引用项的计算选择过程,但汤森路透始终拒绝公开。

 

以上总结来看,操控现有影响因子规则的两个捷径就是“两栖捷径”和“综述为王”。

 

6

“高引”可以被制造

 

 


 

再来思考另一个问题:如果一个刊物完全可以自主地决定它的文章刊用不刊用,它就有可能只挑“高引”的来刊用,甚至还会制造“高引”。

 

中国人认为的学术“公器”,是一个被国内学术界所共同拥有的东西。比如说选稿,就需要一个专家组成的编委会,让专家审稿,并且审稿的意见在很大程度上决定文章用不用。

 

Nature不是这样的,他们以独断决定发不发文章为荣。在很多场合,Nature的历任主编都说过,他们是独立的。这个独立体现在哪?就是可以找专家审稿,但不听专家的意见。审完专家说可以发表,但Nature仍然可以毙稿;专家毙了稿,Nature仍可以发。因为专家的意见是参考,并不能决定文章发不发。这也是Nature一直强调的“传统”。

 

在这个前提下,选择刊登有巨大争议的文章,就会高引。为什么呢?因为如果发一篇非常“荒谬”的文章,很多人就会去驳斥它,每一次驳斥的时候就要把被驳斥的文章引出来,就有了引用,然后影响因子就上来了。所以现在Nature的那些“百年科学经典”、“百年百篇”高引文章里面包括明显的荒谬文章。为什么?因为荒谬的东西也可以产生高引,这也意味着刊物影响因子的操控确实有多种途径。

 

很多人把国内学术界对“学术公器”的完美想象投射到Nature上。但它并不是,Nature的主编一点都不觉得这样是光荣的。刚刚卸任的主编经常强调他们从不设编委会,而且Nature的文章是独立的,并且还对中国媒体特别强调,Nature旗下的所有子刊全部都一样。

 

“神刊”是不搞学术“公器”的,它搞独断,主编和编辑部觉得什么文章好就发什么文章,发了以后高引、争论、争议、过两天撤稿都可以,你看看韩春雨撤稿,刊物一点事没有。中国人觉得我办一个刊物,发一篇文章,过两天又撤稿了,就觉得好像我犯了错误,我工作出了失误。但是他们不是这样想的,对西方的顶级“神刊”来说,撤稿家常便饭,Nature、Science都经常撤稿,而且有时候一撤撤一组。杂志也不认为撤稿会影响刊物的声誉,事实上也不影响。

 

非常好笑的是,那些撤掉的稿子当年对影响因子做了贡献,现在撤掉了影响因子是不是去掉?不会的,甚至一些已经被撤掉的稿还得到引用。所以,不要以为在Nature上发文章就一定是公正的。

 

Nature官网上关于审稿的规定

 

审稿规定写得非常清楚,杂志没有由高级科学家组成的编委会,也不附属于任何学会和学术机构,它的决定是独立做出的,不受制于任何单独个体持有的科学或国家评定。什么样的论文能吸引读者广泛关注,由Nature的编辑,而不是审稿人做出判断。

 

7

“开放存取”的欺骗性质

 

 


 

所谓开放存取是这样:以前看学术论文要花钱,就算在学校图书馆看也是学校花钱买来给你看,总之要花钱。现在看不要钱了,在线发表,快速审稿就可以发布了。开放存取经常标榜“我们发表可以更快,阅读又免费,也没有纸张,很环保”。实际情形什么样?

 

拿收费来说,传统的刊物它是后端收费,就是说刊物的出版商要把刊物编好印出来卖给读者他才能得到钱,而开放存取是前端收费,刊物还没有编出来,你要想在我这发文章,交文章的同时也交钱,实质就是刊物还没编出来,钱已经收好了。从全社会来看,成本并没有减少,前端收费的成本和后端收费的成本差不多,甚至更高。

 

还是有很多开放存取刊物确实不收费,而且它也活着,那是因为实际上它就是一个在线发表。所以办一个开放存取刊物其实可以让成本变得非常低。但是,如果看那些开放存取中的“老大”,有种说法是在它们的官网发一篇文章的成本超过1万美元,这是不可能的,除非把什么办公室在纽约曼哈顿大楼的租金什么都算在成本里才行,关于他们到底要多少钱才能发一篇文章,这个事情在Nature上本身就有文章讨论,事实上Nature结论是很明确的:那些办刊的家伙不告诉你实际需要多少钱,所以我也不知道。

 

有一点是肯定的,只有进SCI的刊物才能收费,而且收费的额度跟影响因子值成正比,影响因子越高收费越高。但是著名“神刊”自己不办开放存取,如果一办“羽毛就脏掉了”,这些“神刊”已经常年在影响因子游戏前20名的神坛上盘踞着了,他们自己不能搞这个东西,但是也不能跟钱过不去,所以他们的办法是什么呢?办子刊,利用子刊来挣钱。

 

你们要不信现在去看Nature的官网,官网上列着开放存取的子刊有数十种,这里我们以Nature Communication为例,有Nature的光环加持,它的影响因子居然能高到10以上。通常我们统计下来,能收费的开放存取期刊收费区间在1500~5000美元,但是Nature Communication能收5200美元,因为它“高端”,影响因子高。

 

还有每年发几万篇文章的刊物,它可以比1500美元还便宜点。但是,一个1年发3万篇文章的刊物你能想象吗?《北大学报》一期上有10篇文章,假定北大学报是是月刊,12期下来一年就120篇文章。1年发3万篇文章的刊物还指望它会认真审稿吗?

 

8

臭名昭著的“掠夺性期刊”

 

 


 

掠夺性期刊就更不像话了,它完全就变成骗钱的东西了。

 

下面这个例子我要用“臭名昭著”这个词。当年《肿瘤生物学》撤稿107篇中国作者论文事件后,2016年它被施普林格从旗下清除。下一年它又被科睿唯安清除出了SCI,这个时候科睿唯安已经成为影响因子发布者ISI(科学情报研究所)的主人。现在,科睿唯安得到了ISI影响因子业务之后,确实做了一些“打扫卫生”的工作,清理掉了一部分“不像话”的刊物,但是也增加了很多新的刊物,所以现在其刊物有9000份。

 

掠夺性期刊的主要特征有几条。

 

首先,不经同意将知名学者列入编委会,甚至伪造编委会名单。

 

其次,不明码标价,先接受文章再寄收费账单。这种做法在开放存取期刊里很常见,因为几乎没成本,是把一个文章上传到服务器上去也可以叫“发表”。

 

另外,经常冠以“国际”、“全球”、“世界”等称号,伪造标准刊号、影响因子值等。

 

最后一条很奇妙:办公地址与汇款地址不符。这些掠夺性刊物办公地址都在高大上的城市,纽约、伦敦、巴黎,等到汇款一看却在不发达国家的某个什么地方,你就几乎可以断定是掠夺性期刊了。

 

 八种著名开放存取期刊发文、收费、影响因子及中国作者贡献费用一览表 

 

这是8家掠夺中国科研经费特别多的刊物,其中就包括前面讲的《肿瘤生物学》,它现在不能收费了,因为它已经不再是SCI刊物,就收不到费了。我们国内有些医学院都已经把它们列为“水刊”,还有的医院和学校发现这个问题后,规定在“四大水刊”发文章的费用不准在科研经费里报销。

 

9

中国的学术期刊:需要观念革新

 

 


 

当初我们引入影响因子有它的积极作用,因为它作为评价管理的一个工具来说确实管用。但是如果一味地要求在高影响因子刊物上发文章,高影响因子刊物都在国外,我们学者就把自己最好的工作发到他们那上面去,不见得都是好事。因为最好的工作发在那个刊物上,所以那个刊物才更好,结果在这种情况下,我们中国自己的科学刊物将永无出头之日之日。

 

中国人现在办了不少英文刊物,因为你要加入SCI影响因子游戏必须办英文刊物,进SCI的刊物现在有不到200个,其中有一个办得最好的刊物影响因子已经到了17。当然跟前20名“神刊”还没法比,但是考虑到前些年法国人办刊物最好的影响因子只有8,我们能做到17也已经不容易了。

 

前些年,中国科学院也有人提出过,说我们能不能把我们的某些刊物也办成Nature、 《柳叶刀》那样,结果立刻就遭到否定,说怎么能这样,不严肃,所以这个意见很快就缩回去了。有少数人其实想过,他们也知道Nature弄成今天这个样子有它的技巧,但是你要在这里学,大部分人观念不支持,所以你很难推行。

 

反过来,中国其实也有刊物尝试做NatureScience,却出现了“水土不服”。这两个刊物都在上海,一个叫《自然》,一个叫《科学》,这两个杂志都非常悲催,它们被看成是科普刊物,发行量非常小,科学家也看不上它们。真的要做科普,它们也不能像《中国国家地理》那样有很多人喜欢,这两个刊物其实在某种形式上有点像那两个对应的洋刊物,但是它们在这里一直是很边缘化的,说明我们要想搞这样的刊物,还需要观念上的革新。

赞(0)
请您分享转发:汉风1918-汉唐归来-惟有中华 » 库叔 :“SCI”神话早该破了! |2020-02-25
分享到