ACM
BLOG@CACM

计算机科学中的肮脏问题


Bertrand Meyer"src=

我们是坏脾气的人吗?不是针对个人,但作为一个团体,计算机科学家有时似乎屈服于否定主义。他们自己也承认。在这个行业中,一个常见的抱怨是,我们没有从组织更合理的领域(如物理学)的同事那里得到启发,他们为了资金、晋升和认可而聚集在一起,而我们却不可避免地暴躁易怒。例如,在委员会中,我们用不同于自己的方法说同事的坏话,从而破坏了每个人的机会。至少这是一个被广泛接受的观点(绕着马车向内射击,正如格雷格·安德鲁斯(Greg Andrews)在最近的一次讨论中所言)。这是准确的吗?

我听说过的一个统计数据是,在提交给美国国家科学基金会(U.S. National Science Foundation)的项目的1- 5次评估中,计算机科学项目的平均分数比其他学科的平均分数低整整1分。然而,这是二手信息,我很想知道对情况有直接了解的读者是否能证实或反驳它。

更多这样的例子可以在杰弗里·诺顿最近的主题演讲中找到,充满了迷人的见解(见他的幻灯片).数据库专家诺顿提到,在提交给SIGMOD 2010的350篇论文中,只有一篇得到了评审人员的一致“接受”,而且只有四篇论文得到了认可平均接受建议。正如他写道,不是我们都烂,就是有东西坏了!

我所看到和听到的许多其他证据都是轶事,但足以让人怀疑我们是否有什么特别之处。这让我想起了一段时间前一个资助慷慨的CS奖委员会,在那里我们几乎不给这个奖,因为我们只有“好的”建议,没有一个委员会成员愿意为之付出生命。委员会确实清醒过来了,后来有几个成员大声问,这种完美主义的原因是什么,它几乎让我们浪费了一个奖励成功的计划和促进纪律的好机会。

我们经常遇到这样的案例——研究提案评估毫无理由但却致命地声明你有不到10%的机会。”达到你的目标,这是致命的争论我没有听到任何令我惊讶的东西。”在一个候选人的演讲之后,我们认为这样的龌龊是正常的,而不去问它是否道德或有益。(“惊讶”的评论尤其恶毒。它的真正目的是让它的作者看起来很聪明,对世界的运作方式很了解,因为他很难让人感到惊讶;而且很少有人愿意反驳它:谁愿意承认这一点呢naïve足以让你感到惊讶吗?)

一个特定的证据来源是裁判,如在SIGMOD的例子中。我一直在想CS赛场上裁判的肮脏。

我们应该注意到,大量被拒绝的意见书本身并不是问题所在。诺顿抱怨说,研究人员的整个职业生涯都在被评分,就像一次又一次通过考试一样。好吧,我也喜欢接受而不是拒绝,但我们必须考虑到现实:在好的会议中,录入率在8%-20%之间,很多裁判肯定是负面的。我们也不能希望整体录取率更高;研究是一个竞争激烈的行业,我们在职业生涯的每一步都会受到评估,不管我们喜欢与否。有人可能会说,大多数提交给ICSE和ESEC的论文都对软件工程做出了相当合理的贡献,因此这些会议应该接受五分之四的论文;但唯一实际的结果是,其他一些机构将很快取代ICSE和ESEC,成为软件工程中重要的发布场所。事实上,即使是成名的作者,被拒绝的情况也经常发生。

然而,拒绝一篇论文与在匿名的便利掩护下侮辱作者并不是一回事。

诺顿所称的“糟糕裁判”的特点是无能和傲慢的特殊结合,当你处于接受的一方时,这种结合总是令人刺痛,尽管过一段时间后回想起来可能会很有趣;总有一天,我会出版我自己多年来收集的一些清单。作为预览,以下是我写的第一篇关于埃菲尔的论文的两个评论,这篇论文在1987年被IEEE拒绝了软件工程汇刊(后来,多亏了一位更开明的编辑罗伯特·格拉斯,这本书才得以出版系统与软件学报1988年第8期,第199-246页).IEEE的拒绝是基于以下评论:

  • 我认为时间会证明继承(第1.5.3节)是一个糟糕的主意。
  • 自动垃圾收集并阻止设计者进行自己的内存管理的系统并不是工业强度软件工程的好系统。

其中一位评论者还写道:当然,本文的大部分内容都包含在第2部分中,其中给出的代码片段展示了在Eiffel中可以如何很好地完成工作。我只读了2.1个数组。从那以后,我就不能再浪费时间去读别人的书了。”这完全是粗鲁的行为,把自己当成裁判。我不知道其他更成熟学科的编辑是否容忍这种态度。我也有这样的印象,在非cs期刊中,编辑有更多的个人影响力。《IEEE-TSE》的编辑怎么能根据如此有偏见的、不专业的评论做出决定呢?是由ipsos保管吗?

“更成熟的学科”:事实上,通常的借口是,我们仍然是一个年轻的领域,遭受着青少年的攻击性。如果是这样的话,可能就像兰斯·福特诺(Lance fornow)那样在更广泛的背景下讨论是时候让计算机科学成熟起来了。”过了六七十岁,我们不再那么年轻了。

你的经验是什么?别处的草更绿吗?我们和其他人一样吗,还是我们在计算机科学中真的有令人讨厌的问题?


评论


洛林Hochstein

我个人最喜欢的是Ben Shneiderman在1972年从ACM通信协会收到的拒绝信:“我觉得作者们能做的最好的事情是收集这份技术报告的所有副本,并在任何人阅读之前烧掉它们。”http://www.cs.umd.edu/hcil/members/bshneiderman/nsd/rejection_letter.html


匿名

这只是学者的问题。在现实世界(行业)中,顾客是有判断力的。

这是只有学者才面临的学术问题。


匿名

我今天收到了更多宝贵的审稿摘录(关于这篇论文,请访问http://www.andrebarbosa.eti.br/P_different_RP_Proof_Eng.pdf):)

"这是一个"甚至没有错"的证明,引用泡利的话"

“我看不懂试卷。这毫无意义。”


匿名

我是一名物理学家,但进入了计算机科学,现在在这个领域发表了文章。我注意到了你描述的态度,这让我很害怕,因为我觉得其他计算机科学家都很不安全。来自评论者的粗鲁评论很常见,而编辑们似乎并不在意。但更重要的是,通常审稿人都是毫无头绪,几乎不理解他们审稿的论文。所以,如果一个评论人粗鲁而无知,而两个评论人博学而积极,那么编辑仍然主要听那个无知的人的话,很简单,因为在这个领域,消极的评论比积极的评论更有价值……


匿名

我曾在评论中遇到过令人不快的现象。这可能会令人沮丧,特别是当恶意与似乎有意的误解相结合时,即恶意地解释正在说的话或所做的事。

举个例子:在一篇手稿中,我们定义了用于特定方法的集合的前提条件。记作P(S)现有方法有不同的前提条件Q(S)。我们证明了Q(S)意味着P(S),反之则不然,而且P(S)仍然足以使S有用。那篇评论——编辑向我保证他们是这方面的铁打专家——是一篇直截了当的拒绝,说(或多或少)“原来的条件不破,就不能削弱”。

在我看来,恶意在计算机科学界被视为经验的标志。也许因为在过去,一些专家被认为是恶意的,我们中的一些人试图模仿他们,希望为自己建立声誉。


杰弗里·尼克尔斯

我想知道是否我们的出版模式,即更喜欢会议而不是期刊,与此有关……会议评论本质上更具对抗性,缺少编辑和作者之间的合作,以创造一篇对期刊来说似乎很重要的有价值的出版物(至少我接触过的那些)。

我想也可能是另一种情况……也许我们更喜欢会议模式是因为我们的消极?


匿名

作为一名审稿人和作者,我感觉(在某些情况下我确实知道)我的一些(合作)审稿人会做以下两件事之一:

我让其他不太合格的人审阅了论文,甚至都懒得检查评审的质量。

2.在最后一分钟审阅了论文,可能是在项目主席多次提醒之后。

无论哪种情况,都很难得到公正的评价。


朱迪·罗伯逊

这是一篇很棒的文章——谢谢你播放这个问题。最近,我听了两场专业职位候选人的演讲。坦率地说,我对同事们咄咄逼人的提问感到尴尬。这些咄咄逼人的问题来自现有的教授,似乎他们不愿意有任何人加入他们的崇高行列。


匿名

我来自物理学,它有自己的肮脏,和你描述的不一样。现在,我在一个由计算机科学家主导的研究机构工作,因此,我写了一些计算机科学论文并进行了评论。冒着听起来傲慢的风险(我不是有意的),我要说:
正如你所说,计算机科学是一个相对较新的领域,而物理学要成熟得多。这不仅意味着计算机科学有更多的新贵评审和撰写论文,而且研究质量从优秀到平庸到相当差。与物理学或自然科学相反,在这两个领域,几乎所有的研究都具有相似的质量(就成熟度而言)。你可能会说这是好还是不好,我不知道。
此外,计算机科学家有更多的资金发表论文和召开会议(在异国他乡),这反过来又导致更多的论文要写和审查,以及所有相关的热潮。我每两年写一篇论文,当我学物理的时候,可能每年都要复习几篇。我每周都做一些计算机科学研究方面的复习/写作活动。
任何尚处于青春期的领域都必然会有它的愤怒问题,所以我认为计算机科学研究是你所描述的方式并不奇怪(其中一些与我观察到的一致)。也许这里面有太多的钱,对它本身没有好处。我不知道。只是说。


匿名

这给项目负责人带来的一个挑战是,我们可能会被糟糕的评论与真正的拒绝所误导,尤其是当糟糕的人工作努力时。一个解决方案可能是发布评论者统计数据,包括评论者是少数人的频率,平均评论时长等。如果我们知道糟糕的数字会让我们被名牌委员会拒之门外,可能会改善我们的行为。我们都想在电脑上,然后表现得好像我们不能被打扰,太忙了!这种情况需要改变。从工业界的经验来看,我知道大棒比胡萝卜更有效!


查看更多评论

登录为完全访问
»忘记密码? »创建ACM Web帐号
Baidu
map