ACM通信
一篇优秀的人机交互系统论文应具备哪些条件?
在Twitter、Facebook和博客上有很多关于HCI系统论文评审系统问题的讨论Landay的博客文章以及由此产生的评论线程)。与交互方法或新输入设备的论文不同，系统是凌乱的。你不能用一个干净的小实验室研究来评估一个系统，或者证明它比上一个方法的性能好2%。系统经常尝试解决一个以前没有方法解决的新问题。这些系统的价值可能无法量化，直到它们部署到现场，并与大量实际用户进行评估。然而，做这样的评估需要大量的时间和工程工作，特别是与非系统论文相比。在CHI和UIST等会议上观察到的结果是，系统研究人员发现论文很难被接受。审查员会拒绝那些没有对系统进行全面评估，或者没有将系统与以前的系统(通常是为了解决不同的问题而设计的)进行比较的杂乱无章的系统论文。
在CHI 2010上，有一个关于如何解决这个问题的持续讨论。我们能否创建一个对系统工作公平的会议/发布过程?正在计划将迭代审查纳入UIST的系统论文审查过程中，让作者有机会与审稿人进行对话，并在发表前解决他们的问题。
然而，我认为第一步是定义一套HCI系统论文的评审标准。如果审稿人对什么是一篇好的系统论文意见不一，我们怎么能鼓励作者达到出版标准呢?
这是我的列表:
- 清晰而有说服力的描述正在解决的问题。为什么目前的技术还不够?有多少用户受到影响?这个问题对他们的生活有多大影响?
- 系统是如何工作的，详细到足以让独立研究人员建立一个类似的系统。由于系统构建的复杂性，通常不可能在10页的论文限制内指定所使用的所有参数和启发式。但这篇论文应该提供足够的细节，使另一位研究人员能够建立一个类似的(即使不是完全相同的)系统。
- 替代方法。你为什么选择这种特殊的方法?你还可以采取什么其他方法来代替?您的系统代表一个点的设计空间是什么?
- 系统解决问题的证据。这并不一定是一个用户研究。描述系统在哪些情况下是有用的，以及系统在这些情况下的执行情况。如果用户使用过这个系统，他们会怎么想?他们成功吗?
- 使用障碍。是什么会阻止用户采用该系统?是如何克服这些障碍的?
- 系统的局限性。在什么情况下它会失败?用户如何从这些故障中恢复?
你怎么看?让我们讨论一下。
Tessa Lau是IBM阿尔马登研究中心的研究人员和经理。
评论
约瑟夫·麦卡锡
我赞同你的第一个建议。我已经审阅了许多系统论文，它们没有提供足够令人信服的动机或用例——为什么我(或任何人)要关心这个系统?如果没有这一点，论文往往代表着技术在寻找问题。
现在，读了Don Norman在最近一期交互杂志上的一篇挑衅性的文章——技术第一，需求最后:研究/产品的鸿沟——我对一些技术在寻找问题方面可能做出的贡献有了更强烈的欣赏，但我仍然相信这些更多的是例外而不是常态……如果没有充分说明系统将有助于实现的以人为本的价值，这样的论文可能更适合于其他场合。
Ed Chi
一个问题是，我们的领域发展如此之快，以至于我们必须允许新想法与其他想法快速交叉发展。如果我们要求对每一篇论文进行评估，那么我们就无法实现创新之间相互交流所需要的快速转变。
另一方面，没有过滤器似乎是错误的。如果没有过滤器，我们可能会发布一些看起来很有趣，但实际上很没用的想法。
我觉得你在讨论要点的清单上开了个好头。有一件事要记住，我们应该对论文进行整体而不是部分的评价。我通常会建议接受在某一方面有缺陷但在另一方面很好的论文。
丹尼尔·格伦
我认为，如果你能多谈谈你所说的“系统解决问题的证据”，而不是用户研究，这对我们讨论你的帖子会很有帮助。
那么，具体的问题系统问题的例子是什么(“清晰且令人信服地呈现”)，你认为有什么合适的证据表明你的系统解决了问题?它是一组以前的设计很难解决的使用场景，而您展示了一个单一的界面设计如何完全解决这些问题?它是一种新的显著更有效的算法或机制，例如处理围绕组权限的复杂首选项，这对组系统的构建者来说是有用的吗?(在后一种情况下，证据是使用以前查询的日志作为数据进行性能测试吗?)这是一种用皮肤轻拍作为输入的新方法吗?
大卫Karger
我强烈支持在会议上严格把关，只是因为我需要有人帮我在有限的时间里搞清楚哪些事情值得关注。与此同时，我认为重要的是要记住，一篇系统论文可以以各种不同的方式真正有价值，值得在CHI这样的会议上看到。由于对系统的部署和使用(评估)进行了彻底的分析，系统论文可能会很有趣。或者，它也可能是有趣的，因为它有一个很好的讨论，为什么它是一个特殊的方式(设计)。或者，它可能只是演示一个给定的有趣的能力是可以创建的。或者，它可以是关于为什么某个系统是真正有用的，即使它还没有建立或评估(动机/立场文件)。最后，我想要的是激发思考和行动的论文。我不会要求任何特定层次的动机、设计或评估;相反，我想问的是整体是否足够创新。这是一个非常主观的决定，这就是为什么我非常重视明智的计划委员会，他们可以代表我做出这样的判断。
泰刘
感谢大家参与有趣的讨论。我的目标是在我们的社区内发起讨论，而不是得到所有的答案。
沿着这条思路，丹，你提出的关于什么是“适当证据”的问题，我将回到社区寻求集体答案。
不管怎样，我并不认为你的例子是“系统”。第一个是使用场景或设计。第二个是算法。三是交互方法。其中每一个都是相当独立的，可以通过一个相当封闭的研究进行评估。
我所说的“系统”是一个实现的原型，它让人们能够访问以前不存在的新功能。“系统”的例子包括CoScripter, ManyEyes, Landay’s DENIM and SILK, Gajos’s SUPPLE, Ko’s WhyLine。我们如何证明这些系统中的每一个都“足够创新”(用大卫的话来说)值得发表?
罗伯特·圣Amant
你好,泰!我喜欢你的列表，我认为这些要点代表了计算机科学系统论文的良好评价标准。
在我看来，主要症结在于“系统解决问题的证据”。在经验计算机科学的其他一些领域，我们有测试问题的存储库、公认的性能度量的套件、软件的测试工具等等。然而，可用性测试被视为HCI中的黄金标准，而且利用这些工具来进行有效的用户测试评估是非常困难的。投入到新系统的用户测试上的努力有时可以与最初构建系统的努力相匹敌——好吧，我可能有点夸张，但仍然……
如果我们能就一些合理的替代品达成一致，那就太好了。例如，我参与的一些论文包含了性能的GOMS模型，但并不是所有人都接受纯分析方法。有时，更糟糕的是，我想在论文中传达的是一种概念上的转变，一种思考某种问题的不同方式，这甚至比单纯的性能更难评估。
Florian Mueller
我以前建议过，现在还会再建议一次:一个简单的开始可以让被接受的交互性演示“价值”相当于CHI的一篇完整论文:相同的演示长度，相关的论文(可能有6页长)需要在ACM数字库中具有相同的“存档”状态。
这可能显示出对系统研究的真正承诺。
显示所有7评论