2020年9月21日-25日是同行评议周（Peer Review Week），主题是“同行评议中的信任”。

 

国家自然科学基金委员会原主任，浙江大学教授、原校长杨卫做客爱思唯尔专题线上研讨会，畅谈对“信任与科研评审制度”的理解，给青年科研人员进行项目评审、基金申请提出了不少中肯、操作性强的建议，并与网友进行互动。

 

《中国科学报》对研讨会内容进行了整理，以下为研讨会实录：

 

Q1: 同行评议除了在期刊评审发挥作用外，相信您还了解同行评议在其他方面的广泛应用，可以介绍一下吗？

 

杨卫：

不同方面的同行评议我都做过，现在还是爱思唯尔一个期刊的编辑之一。每年从我手里要评五六百篇来稿，涉及发送给审稿人、判断其审稿意见、决定录取与否等。

 

我们一般谈论的广义评审，可以称作“三评”——评审、评估、评价。其最基本的形式有两种：主观评价和客观评价，分别指由人来评价和由数据来评价。当然也有主观和客观结合在一起进行评价。

 

我曾做过一个报告，将目前国内实施的主客观相结合的评价归结为9种具体形式。

 

主观评价，即同行评议（peer review），是一种最基本的评价形式。广泛应用在期刊、科研项目、奖项、职称乃至学生奖学金、先进模范等评审中。

 

与期刊的同行评议相比，科研项目评审呈现出以下不同特点：

 

1. 评价项目涉及标的更大，并涉及到国家经费，即纳税人的钱。所以评审过程中一旦出现问题，审计、监督部门就会介入。

 

科研项目的评审一般是单向的，评完后通知评审结论和意见，没有评上的很难以学术观点不同的争辩而改变结果。

 

国家自然科学基金条例中规定，评审过程中如果违反了程序，可以申诉，维持程序正义。但如果对评价意见有异议，只能保留。

 

这和期刊评审采取交互的方式，审稿人、编辑、投稿人有时候可以进行争辩而有所不同。

 

这是因为，在评价过程中，国家自然科学基金委认为它已经找了一组最权威、最合适的专家，如果你对意见不满意，想要推翻这些专家的意见，就需要找更加权威的专家。

 

2. 项目评审的时间，尤其是会评的时间往往比较固定，在评审之前不公开专家信息。

 

在评审之前公布专家信息行不行呢？我们以前试过，在某一年，依照当时一份文件，公开了专家信息。结果很多专家的手机都被打爆了，电话、短信几百个。

 

这些申请人们并不直接找相应的评审专家，而是去找一个评审专家最难说不的人当说客，这就带来很多问题。

 

一直以来，我们让评审专家互相打分，来判断组里别的评审专家是否公正，公正程度分为A、B、C，在信息公布的那一年，这个分数一下子下降很多。

 

因此，从下一年起，我们就不再提前公开评审人的信息，而是在评审之后公布。同时把统计数据、情况说明等报给了相应的管理部门。

 

3. 项目评审往往会框定一个项目的总数量，如30项或50项，有时则是定出资助金额总量，如1000万等。

 

一般采取定额补助的财务管理模式，对比所有参评的项目，从中择优选取。

 

可能你的分数很高，评价也不错，但如果同组里的其他申请人分数更高，你就会被淘汰。

 

这是一种学术共识性的评价，即综合几个评审人的意见，最终给出结论。这对具有颠覆性的、从0到1的创新是不利的。

 

既然是颠覆性的，还能形成共识吗？现在大家也在探索，对这种项目该以什么方式去评审。

 

4. 在评审项目时，除了要看项目本身的重要性外，还要看它有没有可能做成、价值怎么样，要检查可行性。

 

这与期刊评审不同，论文是经过可以形成完备论证链的理论、实验、计算工作所取得的成果。

 

但研究项目在提出时并不一定能保证成功，是某人提议去做这么个项目，即使最后做不成，也不完全是申请人的责任。毕竟科学探索不一定都是成功的，如果要追求一定成功，那可能就不会有大的创造。

 

而评奖更加滞后一些，所以更注重应用价值、突破和进步的程度、别人对其评价和引用、相应问题知识产权的占有情况。

 

比如科技进步奖，就要看经济效益和社会效益。曾经有诺贝尔奖评奖委员会的评委告诉我，诺贝尔奖最注重两点：是否是“开门之作”，有没有持续的影响力。

 

Q2: 期刊为了提高透明度和可信度，会公布审稿人的意见，科研项目在评审之后会公布评审人信息，同时给单向的评审意见。

 

您认为除了目前这些措施外，还可以从哪些方面提高整个评审程序的透明度？

 

杨卫：

透明度目前还是一个有一定争议的议题，得特别谨慎地加以处理。

 

评审人和申请人的角色经常互换，并不是固定的。评审的意见一般要求非常具体，要让在申请人拿到意见之后，无论赞同与否都有收获。

 

这个意见要隐去所有能揭示自己身份的信息，对国家自然科学基金来讲，在函评时，谁审得谁，是基金委的核心机密，任何一个工作人员如果透露出这个信息，就不再适宜在基金委工作。

 

我曾担任国家自然科学基金委主任，也不知道是谁审了谁，系统里这块内容对我是封闭的。

 

只有具体操作的人才知道，他们的操作，也必然留下痕迹。所以一旦泄露，很容易追踪到这个人。这才能保证大家对国家自然科学基金的信任感，不至于出现专家之间的猜疑和人身报复。这一体系在绝大多数情况下也是被认可的。

 

毕竟目前来看，中国还是比较讲人情的，如果你要把审稿人公布给申请人，还要求提出尖锐的意见，大部分人就拒绝审稿了。即使不拒绝，其意见也会含混不清、模棱两可。

 

期刊也是这样，大多数期刊也不会把审稿人告诉给作者。以我所在的期刊来说，如果审稿人的名字被泄露给作者，就算是一个事故。

 

Q3: 匿名评审是为了保护同行评议的信任感，但评审委员会内部如何决定谁审谁？怎么避免人为的偏见呢？

 

杨卫：

我刚才讲到，我们的基金评审是学术共识性的。一般的程序是，先把所有的申请按照关键词进行分类，分成若干个包，每个包可能有十几份申请，会发送给同一拨专家。

 

在评审专家看到申请人名字和申请课题后，他们依照原有的认知，对申请人形成一个排序，这是预判断。

 

在对申请书进行比较、分析之后，他们可能会调整预判断，形成个人最终的次序判断。最后，对这一组的评审人意见进行汇总，形成最终的意见。

 

Q4:您对青年科研人员有哪些建议？在申请基金时有什么需要注意的？

 

杨卫：

自然科学基金委原来的规矩是，项目主管不许给别人讲怎么能申请到基金。我不做主任有两三年时间了，但现在我不能主动去详细讲述这件事。

 

在我当校长的时候，年年都给老师们讲，怎么才能申请到基金。现在我只能给大家讲，在我当国家自然科学基金委主任以前，给年轻老师的提议。

 

1. 项目背景要能够让大同行明确理解。

 

有些年轻的申请人以为，自己写的东西别人都应该知道，但其实很多时候别人并不知道，隔行如隔山。缺了解释性的一两句话，中间的逻辑就会断裂。因此，要照顾到大同行的理解程度。

 

2. 研究内容、技术路线、创新点等要适度聚焦，但在难点上要一线贯通。

 

你的项目可能涉及很多个方面，但并不需要面面俱到，不然大家看的也很疲惫。而要把最难实现的路径、别人认为最不可行的问题讲清楚，包括技术细节等。

 

这样评审人会觉得，最难的东西你都讲清楚了，其他的问题也不大。

 

这和写论文不一样，写论文要把所有的步骤、方法都讲明白，但是项目要求内容聚焦，要论证其执行路径的可行性。

 

3. 不能省略同行的工作。

 

有人在进行阐述时，忘了提自己同行的工作。但评审人很有可能就是你没提到的某个同行，或者是他们的学生、同事等。别人做过的工作，绝不能只字不提，尤其是国内同行的相关工作，要写清楚。

 

4. 写自己的研究经历及成果时，突出重点。

 

不需要一一罗列，写几十页，只需要把自己最重要的和与研究问题最相关的工作写清楚。

 

5. 思考如何才能令人眼前一亮。

 

刚才我讲到，最初申请书是由人工智能系统检索打包的，将相似主题的申请发送给给同一拨人。

 

这时你要想：在这十几份申请书里，我的课题申请凭什么能打动评审人？一般的中标率是20%左右，15份申请里的前3名有可能中标。大家要思考如何才能成为前3名，令人眼前一亮。

 

不同的学科习惯不一样，生命科学可能要求把故事讲好，而工程类的呢，要保证写得实实在在、精确到位。

 

上述意见仅供参考。

 

Q5: 青年科研人员也逐渐参与到各项评审工作中，通过经验积累来提升自己的评审能力，但目前市面上很少有专门的课程指导大家如何去做同行评议。

 

在这方面，项目评审是否有同样的挑战？如何成为优秀的评审人？

 

杨卫：

国家自然科学基金委有一个专家库，里面大概有十几、二十万个专家。在项目主管指定评审人的时候，根据项目主题和内容，可以看到相关专家在关联度上的降序排序。

 

项目主管可以选择系统筛选出专家，也可以根据自己的知识，指定其他更合适的专家，他的选择也会被带到机器学习中，相应做出调整。

 

这个系统的信息一般是从科研人员的网站搜过来的，因此建设个人网站很重要。如果网站信息显示你曾经研究过某一类的问题，就有可能请你来评审。

 

你给的分数等级普遍比大家高或低都没问题，但如果总是跟大家的平均结果缺乏相关性的话，你在系统中的优先级就会下降。比如多次出现这种情况，其他人一般给B，你给了D，其他人给C，你给了A。

 

再有，基金委给大家规定了评审时间，你最好及时审回提交，项目主任一般比较喜欢审的及时、意见具体准确的人。基金委很自豪的是其邀请审查基金的审回率在90%以上，比所有的期刊都要高，期刊的评审人有一半能审回就不错了。

 

Q6: 如何调动审稿人的积极性？有哪些激励措施？

 

杨卫：

首先，跟期刊审稿一样，评审一次基金项目，就能了解到某一个问题。而且项目书所覆盖的面往往比论文更宽，审完后对大家做什么题目，同行中比较重要的团队做些什么都有了解，这对学术生涯有正面作用。

 

第二，评审费在2年前就增涨了，而且涨幅很大。审一包项目书，肯定比你干一天活挣的工资要多。

 

同时，心理上来说，这也是为学界服务，是在做贡献。

 

Q7: 您提到，我们目前的评审制度是学术共识性的评审，对颠覆性的、创新性较强的项目有局限性，但目前中国正从科研大国到科研强国转变，越来越强调科研原创性，如何改变这种局限性？

 

杨卫：

基金委最近出了一个对待“从0到1”研究项目的特殊评审办法，更多地强调申请人和基金项目主管的交互。

 

申请人最开始写的项目书可以很简单，然后被拿去预审。只要其中有一处明显的创新点，就可以让申请人围绕这一点，重新写一个比较详细的项目书。

 

这是一个迭代过程，希望能最终迭代出最能突出创新性的版本。在项目进行过程中，也会分阶段进行评估，根据评估结果决定资助金额。

 

延伸阅读：

基金委与阿里云达成合作，应用 AI 技术遴选评审专家

据《中国科学报》从中国政府采购网和阿里云获得的消息，国家自然科学基金委员会已和阿里云达成合作，建设应用人工智能技术的科学基金项目管理系统，支撑自然科学项目申请、评审、立项、在研、结题、成果等等核心业务稳定可靠运转。阿里云方面介绍称，本次项目基于科研大数据、人工智能等技术，提取科研项目申请书、评议人的多维特征及科研行为信息，对科研对象进行更加准确的定义描述。基于 AI 技术的辅助指派系统，将为科研项目申请书遴选出最合适的评审专家，并结合反馈调节机制持续完善评议指派准确度。

基金委正在搭建的这套 AI 系统则更加复杂。在Nature的报道中，基金委主任李静海描述了系统的工作原理：爬虫会在网络上抓取文献数据库、学者的个人主页等在线数据，然后使用自然语言处理的方法提取学者的学术出版物、科研项目等信息的关键细节；匹配基金申请项目与潜在评审人时，系统将对两部分信息进行语义分析，以得到最优的结果。 

基金委前任主任杨卫称，2018年，这个系统的一个早期版本已经在为基金委提供服务：基金申请书的评审工作由3～7人组成的专家组承担，而系统为44000个批准了基金申请的专家组各推荐了至少一位成员。 

科研人员的裙带关系一直是基金评审公正性的一大阻碍，基金委希望使用AI系统减少评审的偏向性。李静海认为，“AI是不会被被腐化的”。《中国科学报》称，虽然此前基金委已经为规范评审纪律采取了遏制措施，比如提高评审信息保密水平、提高评审人员纪律意识，但今年仍有人通过各种途径“活动关系”，甚至有“广撒网”式的“打招呼”现象存在。 

过去5年内，基金委收到的项目申请以每年约10%的速度增长，这让评审公正性面临的压力进一步提升。2018年下半年，基金委提出要用5～10年的时间对科学基金进行深层次的重大改革，“完善评审机制”是彼时提出的三大改革任务之一，任务的实现措施中，明确包括了“使用智能辅助评审管理系统”。 

智能系统的工作质量，将是影响改革成效的关键因素之一。Nature 的报道显示，加拿大卫生研究院使用的一个评审人挑选算法，效果并不尽如人意：算法挑选出的评审人可能与项目存在利益冲突，或者不适合、甚至根本不具备评审项目的资格。

 目前，基金委的这套试验性系统只能处理中文的网络信息，英文信息的处理将是下一步的计划。