签到
EN

杨卫院士详解科研评审制度:基金申请5点建议来了!

12浏览
2022/06/24 09:45发布
基金申请动态
基金申请动态
最新的基金申请动态——杨卫院士详解科研评审制度:基金申请5点建议来了!

2020年9月21日-25日是同行评议周(Peer Review Week),主题是“同行评议中的信任”。

 

国家自然科学基金委员会原主任,浙江大学教授、原校长杨卫做客爱思唯尔专题线上研讨会,畅谈对“信任与科研评审制度”的理解,给青年科研人员进行项目评审、基金申请提出了不少中肯、操作性强的建议,并与网友进行互动。

 

《中国科学报》对研讨会内容进行了整理,以下为研讨会实录:

 

Q1: 同行评议除了在期刊评审发挥作用外,相信您还了解同行评议在其他方面的广泛应用,可以介绍一下吗?

 

杨卫:

不同方面的同行评议我都做过,现在还是爱思唯尔一个期刊的编辑之一。每年从我手里要评五六百篇来稿,涉及发送给审稿人、判断其审稿意见、决定录取与否等。

 

我们一般谈论的广义评审,可以称作“三评”——评审、评估、评价。其最基本的形式有两种:主观评价和客观评价,分别指由人来评价和由数据来评价。当然也有主观和客观结合在一起进行评价。

 

我曾做过一个报告,将目前国内实施的主客观相结合的评价归结为9种具体形式。

 

主观评价,即同行评议(peer review),是一种最基本的评价形式。广泛应用在期刊、科研项目、奖项、职称乃至学生奖学金、先进模范等评审中。

 

与期刊的同行评议相比,科研项目评审呈现出以下不同特点:

 

1. 评价项目涉及标的更大,并涉及到国家经费,即纳税人的钱。所以评审过程中一旦出现问题,审计、监督部门就会介入。

 

科研项目的评审一般是单向的,评完后通知评审结论和意见,没有评上的很难以学术观点不同的争辩而改变结果。

 

国家自然科学基金条例中规定,评审过程中如果违反了程序,可以申诉,维持程序正义。但如果对评价意见有异议,只能保留。

 

这和期刊评审采取交互的方式,审稿人、编辑、投稿人有时候可以进行争辩而有所不同。

 

这是因为,在评价过程中,国家自然科学基金委认为它已经找了一组最权威、最合适的专家,如果你对意见不满意,想要推翻这些专家的意见,就需要找更加权威的专家。

 

2. 项目评审的时间,尤其是会评的时间往往比较固定,在评审之前不公开专家信息。

 

在评审之前公布专家信息行不行呢?我们以前试过,在某一年,依照当时一份文件,公开了专家信息。结果很多专家的手机都被打爆了,电话、短信几百个。

 

这些申请人们并不直接找相应的评审专家,而是去找一个评审专家最难说不的人当说客,这就带来很多问题。

 

一直以来,我们让评审专家互相打分,来判断组里别的评审专家是否公正,公正程度分为A、B、C,在信息公布的那一年,这个分数一下子下降很多。

 

因此,从下一年起,我们就不再提前公开评审人的信息,而是在评审之后公布。同时把统计数据、情况说明等报给了相应的管理部门。

 

3. 项目评审往往会框定一个项目的总数量,如30项或50项,有时则是定出资助金额总量,如1000万等。

 

一般采取定额补助的财务管理模式,对比所有参评的项目,从中择优选取。

 

可能你的分数很高,评价也不错,但如果同组里的其他申请人分数更高,你就会被淘汰。

 

这是一种学术共识性的评价,即综合几个评审人的意见,最终给出结论。这对具有颠覆性的、从0到1的创新是不利的。

 

既然是颠覆性的,还能形成共识吗?现在大家也在探索,对这种项目该以什么方式去评审。

 

4. 在评审项目时,除了要看项目本身的重要性外,还要看它有没有可能做成、价值怎么样,要检查可行性。

 

这与期刊评审不同,论文是经过可以形成完备论证链的理论、实验、计算工作所取得的成果。

 

但研究项目在提出时并不一定能保证成功,是某人提议去做这么个项目,即使最后做不成,也不完全是申请人的责任。毕竟科学探索不一定都是成功的,如果要追求一定成功,那可能就不会有大的创造。

 

而评奖更加滞后一些,所以更注重应用价值、突破和进步的程度、别人对其评价和引用、相应问题知识产权的占有情况。

 

比如科技进步奖,就要看经济效益和社会效益。曾经有诺贝尔奖评奖委员会的评委告诉我,诺贝尔奖最注重两点:是否是“开门之作”,有没有持续的影响力。

 

Q2: 期刊为了提高透明度和可信度,会公布审稿人的意见,科研项目在评审之后会公布评审人信息,同时给单向的评审意见。

 

您认为除了目前这些措施外,还可以从哪些方面提高整个评审程序的透明度?

 

杨卫:

透明度目前还是一个有一定争议的议题,得特别谨慎地加以处理。

 

评审人和申请人的角色经常互换,并不是固定的。评审的意见一般要求非常具体,要让在申请人拿到意见之后,无论赞同与否都有收获。

 

这个意见要隐去所有能揭示自己身份的信息,对国家自然科学基金来讲,在函评时,谁审得谁,是基金委的核心机密,任何一个工作人员如果透露出这个信息,就不再适宜在基金委工作。

 

我曾担任国家自然科学基金委主任,也不知道是谁审了谁,系统里这块内容对我是封闭的。

 

只有具体操作的人才知道,他们的操作,也必然留下痕迹。所以一旦泄露,很容易追踪到这个人。这才能保证大家对国家自然科学基金的信任感,不至于出现专家之间的猜疑和人身报复。这一体系在绝大多数情况下也是被认可的。

 

毕竟目前来看,中国还是比较讲人情的,如果你要把审稿人公布给申请人,还要求提出尖锐的意见,大部分人就拒绝审稿了。即使不拒绝,其意见也会含混不清、模棱两可。

 

期刊也是这样,大多数期刊也不会把审稿人告诉给作者。以我所在的期刊来说,如果审稿人的名字被泄露给作者,就算是一个事故。

 

Q3: 匿名评审是为了保护同行评议的信任感,但评审委员会内部如何决定谁审谁?怎么避免人为的偏见呢?

 

杨卫:

我刚才讲到,我们的基金评审是学术共识性的。一般的程序是,先把所有的申请按照关键词进行分类,分成若干个包,每个包可能有十几份申请,会发送给同一拨专家。

 

在评审专家看到申请人名字和申请课题后,他们依照原有的认知,对申请人形成一个排序,这是预判断。

 

在对申请书进行比较、分析之后,他们可能会调整预判断,形成个人最终的次序判断。最后,对这一组的评审人意见进行汇总,形成最终的意见。

 

Q4:您对青年科研人员有哪些建议?在申请基金时有什么需要注意的?

 

杨卫:

自然科学基金委原来的规矩是,项目主管不许给别人讲怎么能申请到基金。我不做主任有两三年时间了,但现在我不能主动去详细讲述这件事。

 

在我当校长的时候,年年都给老师们讲,怎么才能申请到基金。现在我只能给大家讲,在我当国家自然科学基金委主任以前,给年轻老师的提议。

 

1. 项目背景要能够让大同行明确理解。

 

有些年轻的申请人以为,自己写的东西别人都应该知道,但其实很多时候别人并不知道,隔行如隔山。缺了解释性的一两句话,中间的逻辑就会断裂。因此,要照顾到大同行的理解程度。

 

2. 研究内容、技术路线、创新点等要适度聚焦,但在难点上要一线贯通。

 

你的项目可能涉及很多个方面,但并不需要面面俱到,不然大家看的也很疲惫。而要把最难实现的路径、别人认为最不可行的问题讲清楚,包括技术细节等。

 

这样评审人会觉得,最难的东西你都讲清楚了,其他的问题也不大。

 

这和写论文不一样,写论文要把所有的步骤、方法都讲明白,但是项目要求内容聚焦,要论证其执行路径的可行性。

 

3. 不能省略同行的工作。

 

有人在进行阐述时,忘了提自己同行的工作。但评审人很有可能就是你没提到的某个同行,或者是他们的学生、同事等。别人做过的工作,绝不能只字不提,尤其是国内同行的相关工作,要写清楚。

 

4. 写自己的研究经历及成果时,突出重点。

 

不需要一一罗列,写几十页,只需要把自己最重要的和与研究问题最相关的工作写清楚。

 

5. 思考如何才能令人眼前一亮。

 

刚才我讲到,最初申请书是由人工智能系统检索打包的,将相似主题的申请发送给给同一拨人。

 

这时你要想:在这十几份申请书里,我的课题申请凭什么能打动评审人?一般的中标率是20%左右,15份申请里的前3名有可能中标。大家要思考如何才能成为前3名,令人眼前一亮。

 

不同的学科习惯不一样,生命科学可能要求把故事讲好,而工程类的呢,要保证写得实实在在、精确到位。

 

上述意见仅供参考。

 

Q5: 青年科研人员也逐渐参与到各项评审工作中,通过经验积累来提升自己的评审能力,但目前市面上很少有专门的课程指导大家如何去做同行评议。

 

在这方面,项目评审是否有同样的挑战?如何成为优秀的评审人?

 

杨卫:

国家自然科学基金委有一个专家库,里面大概有十几、二十万个专家。在项目主管指定评审人的时候,根据项目主题和内容,可以看到相关专家在关联度上的降序排序。

 

项目主管可以选择系统筛选出专家,也可以根据自己的知识,指定其他更合适的专家,他的选择也会被带到机器学习中,相应做出调整。

 

这个系统的信息一般是从科研人员的网站搜过来的,因此建设个人网站很重要。如果网站信息显示你曾经研究过某一类的问题,就有可能请你来评审。

 

你给的分数等级普遍比大家高或低都没问题,但如果总是跟大家的平均结果缺乏相关性的话,你在系统中的优先级就会下降。比如多次出现这种情况,其他人一般给B,你给了D,其他人给C,你给了A。

 

再有,基金委给大家规定了评审时间,你最好及时审回提交,项目主任一般比较喜欢审的及时、意见具体准确的人。基金委很自豪的是其邀请审查基金的审回率在90%以上,比所有的期刊都要高,期刊的评审人有一半能审回就不错了。

 

Q6: 如何调动审稿人的积极性?有哪些激励措施?

 

杨卫:

首先,跟期刊审稿一样,评审一次基金项目,就能了解到某一个问题。而且项目书所覆盖的面往往比论文更宽,审完后对大家做什么题目,同行中比较重要的团队做些什么都有了解,这对学术生涯有正面作用。

 

第二,评审费在2年前就增涨了,而且涨幅很大。审一包项目书,肯定比你干一天活挣的工资要多。

 

同时,心理上来说,这也是为学界服务,是在做贡献。

 

Q7: 您提到,我们目前的评审制度是学术共识性的评审,对颠覆性的、创新性较强的项目有局限性,但目前中国正从科研大国到科研强国转变,越来越强调科研原创性,如何改变这种局限性?

 

杨卫:

基金委最近出了一个对待“从0到1”研究项目的特殊评审办法,更多地强调申请人和基金项目主管的交互。

 

申请人最开始写的项目书可以很简单,然后被拿去预审。只要其中有一处明显的创新点,就可以让申请人围绕这一点,重新写一个比较详细的项目书

 

这是一个迭代过程,希望能最终迭代出最能突出创新性的版本。在项目进行过程中,也会分阶段进行评估,根据评估结果决定资助金额。

 

延伸阅读:

基金委与阿里云达成合作,应用 AI 技术遴选评审专家

中国科学报从中国政府采购网和阿里云获得的消息,国家自然科学基金委员会已和阿里云达成合作,建设应用人工智能技术的科学基金项目管理系统,支撑自然科学项目申请、评审、立项、在研、结题、成果等等核心业务稳定可靠运转。阿里云方面介绍称,本次项目基于科研大数据、人工智能等技术,提取科研项目申请书、评议人的多维特征及科研行为信息,对科研对象进行更加准确的定义描述。基于 AI 技术的辅助指派系统,将为科研项目申请书遴选出最合适的评审专家,并结合反馈调节机制持续完善评议指派准确度

基金委正在搭建的这套 AI 系统则更加复杂。Nature的报道中,基金委主任李静海描述了系统的工作原理:爬虫会在网络上抓取文献数据库、学者的个人主页等在线数据,然后使用自然语言处理的方法提取学者的学术出版物、科研项目等信息的关键细节;匹配基金申请项目与潜在评审人时,系统将对两部分信息进行语义分析,以得到最优的结果。 

基金委前任主任杨卫称,2018年,这个系统的一个早期版本已经在为基金委提供服务:基金申请书的评审工作由3~7人组成的专家组承担,而系统为44000个批准了基金申请的专家组各推荐了至少一位成员。 

图片

科研人员的裙带关系一直是基金评审公正性的一大阻碍,基金委希望使用AI系统减少评审的偏向性。李静海认为,“AI是不会被被腐化的”。《中国科学报》称,虽然此前基金委已经为规范评审纪律采取了遏制措施,比如提高评审信息保密水平、提高评审人员纪律意识,但今年仍有人通过各种途径“活动关系”,甚至有“广撒网”式的“打招呼”现象存在。 

过去5年内,基金委收到的项目申请以每年约10%的速度增长,这让评审公正性面临的压力进一步提升。2018年下半年,基金委提出要用5~10年的时间对科学基金进行深层次的重大改革,“完善评审机制”是彼时提出的三大改革任务之一,任务的实现措施中,明确包括了“使用智能辅助评审管理系统”。 

图片

智能系统的工作质量,将是影响改革成效的关键因素之一。Nature 的报道显示,加拿大卫生研究院使用的一个评审人挑选算法,效果并不尽如人意:算法挑选出的评审人可能与项目存在利益冲突,或者不适合、甚至根本不具备评审项目的资格。

 目前,基金委的这套试验性系统只能处理中文的网络信息,英文信息的处理将是下一步的计划。

基金申请动态
基金申请动态
文章51
·
总浏览量894
最新文章
更多
住房“限购令”如何影响周边城市房价和汽车消费?
学说观点
5
浏览
JFE|空气污染不仅影响身心健康,也会干扰投资者的理性决策!
学说观点
1
浏览
JFE|中国股市可以准确预测吗?来自机器学习的视角
学说观点
1
浏览
国际金融顶刊JFE最新研究:中国股市的真实价值
学说观点
1
浏览
金融学顶刊《Journal of Finance》“偏爱”哪些中国故事?
学说观点
1
浏览
金融顶刊JF发表中美竞争研究:创新研发还能帮美国企业保持竞争优势吗?
学说观点
0
浏览
热门用户
学说观点
学说观点
文章
300
学术前沿速递
学术前沿速递
文章
298
AIGC交流社区
学说官方
文章
240
未央网
未央网
文章
233
毕宣
中央财经大学
文章
185
王凯
T. Rowe Price
文章
181
热门文章
更多
经济学入门必读书籍有哪些值得推荐?
楚健
·
957
浏览
会议预告|清华五道口绿色金融讲座第一期,邀您探讨“碳达峰碳中和——中国发展转型的机遇和挑战”
学术会议动态
·
3260
浏览
如果经济学家连股都不炒,那他们都在干什么呢?
李博
·
520
浏览
荒唐!Science论文作者P上自己名字,还写进简历里?
楚健
·
275
浏览
李开复:ChatGPT引发失业恐慌?这20种工作要避开!
我和ChatGPT有个对话
·
251
浏览
Top 100 Economics Blogs of 2023
学术小秘书
·
250
浏览
2022数字经济大会议程发布,邀您参会!
学术会议动态
·
211
浏览
最新综述!AIGC到底是什么?都有哪些应用?一文尽览!
AIGC交流社区
·
203
浏览
于海龙 李成明丨乡村振兴背景下财政涉农扶贫资金政策有效衔接的关键环节和路径选择
经典论文回顾
·
183
浏览
TOP前沿: 文本分析方法必读实用指南! 基于文本即数据的机器学习!
经典论文回顾
·
174
浏览