我们是坏脾气的人吗?不是针对个人,但作为一个团体,计算机科学家有时似乎屈服于否定主义。他们自己也承认。在这个行业中,一个常见的抱怨是,我们没有从组织更合理的领域(如物理学)的同事那里得到启发,他们为了资金、晋升和认可而聚集在一起,而我们却不可避免地暴躁易怒。例如,在委员会中,我们用不同于自己的方法说同事的坏话,从而破坏了每个人的机会。至少这是一个被广泛接受的观点("绕着马车向内射击,正如格雷格·安德鲁斯(Greg Andrews)在最近的一次讨论中所言)。这是准确的吗?
我听说过的一个统计数据是,在提交给美国国家科学基金会(U.S. National Science Foundation)的项目的1- 5次评估中,计算机科学项目的平均分数比其他学科的平均分数低整整1分。然而,这是二手信息,我很想知道对情况有直接了解的读者是否能证实或反驳它。
更多这样的例子可以在杰弗里·诺顿最近的主题演讲中找到,充满了迷人的见解(见他的幻灯片).数据库专家诺顿提到,在提交给SIGMOD 2010的350篇论文中,只有一篇得到了评审人员的一致“接受”,而且只有四篇论文得到了认可平均接受建议。正如他写道,"不是我们都烂,就是有东西坏了!"
我所看到和听到的许多其他证据都是轶事,但足以让人怀疑我们是否有什么特别之处。这让我想起了一段时间前一个资助慷慨的CS奖委员会,在那里我们几乎不给这个奖,因为我们只有“好的”建议,没有一个委员会成员愿意为之付出生命。委员会确实清醒过来了,后来有几个成员大声问,这种完美主义的原因是什么,它几乎让我们浪费了一个奖励成功的计划和促进纪律的好机会。
我们经常遇到这样的案例——研究提案评估毫无理由但却致命地声明你有"不到10%的机会。”达到你的目标,这是致命的争论"我没有听到任何令我惊讶的东西。”在一个候选人的演讲之后,我们认为这样的龌龊是正常的,而不去问它是否道德或有益。(“惊讶”的评论尤其恶毒。它的真正目的是让它的作者看起来很聪明,对世界的运作方式很了解,因为他很难让人感到惊讶;而且很少有人愿意反驳它:谁愿意承认这一点呢他naïve足以让你感到惊讶吗?)
一个特定的证据来源是裁判,如在SIGMOD的例子中。我一直在想CS赛场上裁判的肮脏。
我们应该注意到,大量被拒绝的意见书本身并不是问题所在。诺顿抱怨说,研究人员的整个职业生涯都在被评分,就像一次又一次通过考试一样。好吧,我也喜欢接受而不是拒绝,但我们必须考虑到现实:在好的会议中,录入率在8%-20%之间,很多裁判肯定是负面的。我们也不能希望整体录取率更高;研究是一个竞争激烈的行业,我们在职业生涯的每一步都会受到评估,不管我们喜欢与否。有人可能会说,大多数提交给ICSE和ESEC的论文都对软件工程做出了相当合理的贡献,因此这些会议应该接受五分之四的论文;但唯一实际的结果是,其他一些机构将很快取代ICSE和ESEC,成为软件工程中重要的发布场所。事实上,即使是成名的作者,被拒绝的情况也经常发生。
然而,拒绝一篇论文与在匿名的便利掩护下侮辱作者并不是一回事。
诺顿所称的“糟糕裁判”的特点是无能和傲慢的特殊结合,当你处于接受的一方时,这种结合总是令人刺痛,尽管过一段时间后回想起来可能会很有趣;总有一天,我会出版我自己多年来收集的一些清单。作为预览,以下是我写的第一篇关于埃菲尔的论文的两个评论,这篇论文在1987年被IEEE拒绝了软件工程汇刊(后来,多亏了一位更开明的编辑罗伯特·格拉斯,这本书才得以出版系统与软件学报,1988年第8期,第199-246页).IEEE的拒绝是基于以下评论:
其中一位评论者还写道:"当然,本文的大部分内容都包含在第2部分中,其中给出的代码片段展示了在Eiffel中可以如何很好地完成工作。我只读了2.1个数组。从那以后,我就不能再浪费时间去读别人的书了。”这完全是粗鲁的行为,把自己当成裁判。我不知道其他更成熟学科的编辑是否容忍这种态度。我也有这样的印象,在非cs期刊中,编辑有更多的个人影响力。《IEEE-TSE》的编辑怎么能根据如此有偏见的、不专业的评论做出决定呢?是由ipsos保管吗?
“更成熟的学科”:事实上,通常的借口是,我们仍然是一个年轻的领域,遭受着青少年的攻击性。如果是这样的话,可能就像兰斯·福特诺(Lance fornow)那样在更广泛的背景下讨论,"是时候让计算机科学成熟起来了。”过了六七十岁,我们不再那么年轻了。
你的经验是什么?别处的草更绿吗?我们和其他人一样吗,还是我们在计算机科学中真的有令人讨厌的问题?
我个人最喜欢的是Ben Shneiderman在1972年从ACM通信协会收到的拒绝信:“我觉得作者们能做的最好的事情是收集这份技术报告的所有副本,并在任何人阅读之前烧掉它们。”http://www.cs.umd.edu/hcil/members/bshneiderman/nsd/rejection_letter.html
这只是学者的问题。在现实世界(行业)中,顾客是有判断力的。
这是只有学者才面临的学术问题。
我今天收到了更多宝贵的审稿摘录(关于这篇论文,请访问http://www.andrebarbosa.eti.br/P_different_RP_Proof_Eng.pdf):)
"这是一个"甚至没有错"的证明,引用泡利的话"
“我看不懂试卷。这毫无意义。”
我是一名物理学家,但进入了计算机科学,现在在这个领域发表了文章。我注意到了你描述的态度,这让我很害怕,因为我觉得其他计算机科学家都很不安全。来自评论者的粗鲁评论很常见,而编辑们似乎并不在意。但更重要的是,通常审稿人都是毫无头绪,几乎不理解他们审稿的论文。所以,如果一个评论人粗鲁而无知,而两个评论人博学而积极,那么编辑仍然主要听那个无知的人的话,很简单,因为在这个领域,消极的评论比积极的评论更有价值……
我曾在评论中遇到过令人不快的现象。这可能会令人沮丧,特别是当恶意与似乎有意的误解相结合时,即恶意地解释正在说的话或所做的事。
举个例子:在一篇手稿中,我们定义了用于特定方法的集合的前提条件。记作P(S)现有方法有不同的前提条件Q(S)。我们证明了Q(S)意味着P(S),反之则不然,而且P(S)仍然足以使S有用。那篇评论——编辑向我保证他们是这方面的铁打专家——是一篇直截了当的拒绝,说(或多或少)“原来的条件不破,就不能削弱”。
在我看来,恶意在计算机科学界被视为经验的标志。也许因为在过去,一些专家被认为是恶意的,我们中的一些人试图模仿他们,希望为自己建立声誉。
我想知道是否我们的出版模式,即更喜欢会议而不是期刊,与此有关……会议评论本质上更具对抗性,缺少编辑和作者之间的合作,以创造一篇对期刊来说似乎很重要的有价值的出版物(至少我接触过的那些)。
我想也可能是另一种情况……也许我们更喜欢会议模式是因为我们的消极?
作为一名审稿人和作者,我感觉(在某些情况下我确实知道)我的一些(合作)审稿人会做以下两件事之一:
我让其他不太合格的人审阅了论文,甚至都懒得检查评审的质量。
2.在最后一分钟审阅了论文,可能是在项目主席多次提醒之后。
无论哪种情况,都很难得到公正的评价。
这是一篇很棒的文章——谢谢你播放这个问题。最近,我听了两场专业职位候选人的演讲。坦率地说,我对同事们咄咄逼人的提问感到尴尬。这些咄咄逼人的问题来自现有的教授,似乎他们不愿意有任何人加入他们的崇高行列。
我来自物理学,它有自己的肮脏,和你描述的不一样。现在,我在一个由计算机科学家主导的研究机构工作,因此,我写了一些计算机科学论文并进行了评论。冒着听起来傲慢的风险(我不是有意的),我要说:
正如你所说,计算机科学是一个相对较新的领域,而物理学要成熟得多。这不仅意味着计算机科学有更多的新贵评审和撰写论文,而且研究质量从优秀到平庸到相当差。与物理学或自然科学相反,在这两个领域,几乎所有的研究都具有相似的质量(就成熟度而言)。你可能会说这是好还是不好,我不知道。
此外,计算机科学家有更多的资金发表论文和召开会议(在异国他乡),这反过来又导致更多的论文要写和审查,以及所有相关的热潮。我每两年写一篇论文,当我学物理的时候,可能每年都要复习几篇。我每周都做一些计算机科学研究方面的复习/写作活动。
任何尚处于青春期的领域都必然会有它的愤怒问题,所以我认为计算机科学研究是你所描述的方式并不奇怪(其中一些与我观察到的一致)。也许这里面有太多的钱,对它本身没有好处。我不知道。只是说。
这给项目负责人带来的一个挑战是,我们可能会被糟糕的评论与真正的拒绝所误导,尤其是当糟糕的人工作努力时。一个解决方案可能是发布评论者统计数据,包括评论者是少数人的频率,平均评论时长等。如果我们知道糟糕的数字会让我们被名牌委员会拒之门外,可能会改善我们的行为。我们都想在电脑上,然后表现得好像我们不能被打扰,太忙了!这种情况需要改变。从工业界的经验来看,我知道大棒比胡萝卜更有效!