找回密码
 注册新帐号

QQ登录

只需一步,快速开始

[学术杂谈]

也谈科研评价体系

一只虫子小木虫认证明星 VIP会员认证 发表于 2016-7-3 09:20  
查看: 59200|回复: 14|显示全部楼层 |阅读模式
   在做了这么多准备工作之后,我们提出一个新的基于评委评价体系。出于公正和公平性考虑,不仅这个评价体系的规则要透明,而且评价本身和相关数据也要透明。所以,需要设立一个面向所有公众的公开网站,上面公布所有科研工作者(同时也是评委)以及他们的水准,并提供用来评估科研工作和科研工作者的平台。除了保证评价体系所有信息公开透明之外,还有其他一些好处。首先、公开网站能方便大家能景仰真正一流科研工作者,给他们相匹配的认可程度。其次、能了解这些人为什么会被认为是一流的。更重要的是可以让其他科研工作者知道其中的差距,并且有努力的方向。

   我们先讨论如何评价研究工作。评价过程分三个阶段。

a、提名期(时间长度固定,比如3个月)。分为两类:一、自己提名,每隔一段时间(比如3年),n流的研究工作者可以提名自己主导的几个(比如小于或等于3个)在这段时间内完成或者在这段时间内获得更高认可的代表性工作,目标可以是n流或者进军n-1流。二、他人提名,需要一些(比如3个)个n流本领域科研工作者在征得工作主要完成人同意之下,提名某个工作(其主要完成人可以是任何水准),目标是n流。提名者需要提交两份材料:第一份材料(不超过一定长度,比如3页)阐明为什么该工作符合该水准,可以用文章、项目、奖项、引用、影响等任何证据来说明。不同类型(比如理论/应用)的工作可以用不同的证据。第二份材料(不超过一定长度,比如1页)说明每位参与人的分别贡献是什么。需要所有参与人同意,该工作才能被提名。如利用地位/金钱/职位/权势等强行胁迫他人同意,将被认为是严重学术不端行为。权益被侵害人可以提出请求仲裁。

b、评价期(时间长度固定,比如6个月)。在平台上公开让大家评价[解决评委不足问题]。满足以下条件的所有研究工作者都可以评价:

- 评委和工作的相关系数要大于一定阈值[解决评委不是同行的问题]

- 评委的水准与所评价工作工作水准差距要小于一定阈值(比如2)[解决评委水准不够的问题]

- 评委和工作完成人利益冲突指数要小于一定阈值[解决评委有利益冲突的问题]

对于工作的评价,评委只需要在该工作提名时所递交的第一份材料回答“是”(+1)或者“不是”(-1),可以给也可以不给详细评论。评价结果对工作完成人一般情况下不公开,但评委的统计数据公开(包括正确率,个数,赞成和反对比例,在某相关系数范围内/利益冲突范围内赞成和反对的比例等等)[解决不严肃评价的问题]。但在某些极端特殊情形,比如之后的公示期质疑声浪过高(这点也需要严格定义),可以考虑公开所有评价。所以,评委评价科研工作时必须相当严肃。某个评委对工作的评价有权值,与评委和工作的相关系数成正比[给小同行评价更多的权重],与评委和工作的冲突系数成反比[给有利益冲突的评价更少权重],与评委的水准的成正比[给科研水准高的评委更多权重],与评委的过往评价记录成正比[给评价记录好的评委更多权重]。最后一个工作的得分是所有评委的得分之和,当这个得分大于一定阈值的时候,该工作就算通过,否则就算不通过。在评价期结束后,在网站上公开所有评论的结果。

c、公示期(时间长度固定,比如3个月)。这段时间,提名人可以申诉。其他人在n流水准上的也可以质疑n流的工作。但是,申诉和质疑必须公开,而且不鼓励、不提倡使用申诉和质疑的权利,这主要作为保障措施。申诉和质疑必须有足够的理由和证据,滥用申诉和质疑的权利会留下不良信用记录。申诉和质疑启动相应程序。类似于评价,但是阈值有所变化。申诉和质疑的结果公开。而且每人每段时间(比如每年)只能申诉或者质疑1次。在申诉和质疑失败后,该时间线性延长。

公示期结束后,如其结论和评价期结论一致,则为最终定论。

   最后,当研究工作的水准确定以后,引入一个贡献衰减函数。随着时间的增长,研究工作的贡献逐年下降。原则上来说,越是好的工作的衰减越慢。如果做了一个像相对论那样的工作,就足够研究工作者一辈子去思考更深入的问题,比如大统一理论。做了一个诺奖级别的工作,差不多应该让研究工作者有一段(比如十年)的时间来思考能不能作出更重要的工作。但是,如果就是只在本领域顶级杂志/会议上发了一篇文章,那么这个衰减就应该相对很快被用完。这个衰减函数的引入,能够使得研究工作者,在已有贡献的基础上,潜心研究真正有突破意义的工作,而不需要为了应付评价而做太多重复劳动。但是,由于资源有限,也不可能让所有人都能这么做,必须要建立在已有贡献的基础上。同时,就算是已有贡献,根据贡献的大小,衰减的周期是也是有时限的。

昆吾慕南 发表于 2016-9-28 23:10   显示全部楼层
大家都不容易!
cappuccino 发表于 2016-9-29 10:28   显示全部楼层
大家都不容易!
lwjls1975 发表于 2016-9-29 14:08   显示全部楼层
大家都不容易!
聂雄小木虫认证明星 发表于 2016-9-29 14:45   显示全部楼层
谢谢您的分享!
wcgene 发表于 2016-9-29 14:54   显示全部楼层
大家都不容易!
20068851 发表于 2016-9-29 15:27   显示全部楼层
以后多分享一些这样的有价值的帖子啊
cristy5201 发表于 2016-9-29 15:37   显示全部楼层
以后多分享一些这样的有价值的帖子啊
shj 发表于 2016-9-29 15:37   显示全部楼层
好东西一定要看看!
常佳乐 发表于 2016-9-29 17:30   显示全部楼层
论坛有你更精彩!
您需要登录后才可以回帖 登录 | 注册新帐号

本版积分规则  | 请遵守小木虫学术科研第一站管理条例,不得违反国家法律法规

Copyright 2014-2018 小木虫学术科研第一站(xmuchong.com)All Rights Reserved.

公安备案:津公网安备 12011102000110号

      

ICP备案/许可证号:津ICP备14003772号-3

      

跟帖评论自律管理承诺书

      

统一社会信用代码:911201110731367936