ACM通信
实验作为研究验证:我们走得太远了吗?
图源:Alicia Kubista / Andrij Borys Associates
我最近向一个会议提交了一篇论文，当我拿到评审结果时，我注意到评审表格上有一个问题，是关于实验是否进行得很好，有“可信”和“不可信”这样的选项。审稿人在这个问题上遇到了一些麻烦，因为我的论文没有实验;这是一篇关于MapReduce算法计算复杂度的论文。两位审稿人说，不存在的实验是不可信的，这是错误的——你必须看到一些东西才能不相信它。我写这个观点不是为了抱怨受到虐待;事实上，论文被接受了。然而，审查表上这个问题的存在使我确信，当今计算机科学研究的评估方式存在严重的问题。一个
曾经有一段时间，人们认为实验证据没有必要发表。事实上，恰恰相反:你需要为你的结论提供数学分析，通常以证明你的算法做到了你所声称的，以及对它们的性能进行“大-噢”分析的形式。例如，很久以前，我们发现了排序算法O（n日志n)时间。对这些算法进行了形式化的分析，并使用了一个合适的计算机主存储器模型。我们不需要运行算法并绘制它们的运行时间，就知道它们比显而易见的要好O（n2)算法。实验只需要解决这样的问题，比如快速排序必须有多少个元素才能真正击败冒泡排序。当然，当主存用完时，模型就不再适用了，因为突然需要在磁盘上移动数据，所以运行时间会意外增加。然而最基本的O（n日志n)的想法仍然适用，即使你使用二级存储。
评论
Bernaridho Hutabarat
我在某种程度上同意，只是理由略有不同。我生活在印度尼西亚，在那里，科学在很大程度上被政府、教育机构(包括私营机构)和公司所忽视。这样的环境禁止为我编写的编程语言制作代码翻译器(编译器、链接器、解释器)。如果实验是绝对必要的，评判的不是我的语言，而是我获得资金来编写代码翻译的能力。随着我的年龄，我还没有强大到足以单独创建编译器和链接在印度尼西亚这里。是的，我同意乌尔曼的观点。如果你想了解我的编程语言，请参阅www.excellent-programming.com。谢谢。
斯科特棉花
谢谢你的文章!
实验证据是计算机科学中一个有趣而又困难的问题。一方面，在SAT和SMT等问题领域，竞争和基准测试带来了效率和适用性方面的巨大进步。另一方面，与机器学习小组等其他社区相比，这个社区在评估这些数据方面并不那么先进，而且通常情况下，潜在的想法变得相对模糊，因为我们不严格地理解为什么有些东西可行，而另一些东西在实验中行不通。
所以我很欣赏你的中心观点:“我们不应该接受实验来代替更仔细和更全面的分析。”但恕我直言，这里有一些警告。算法是可枚举的，元算法可以自动探索算法。如果我们偶然发现某个问题的某个算法在实验上在宽频带上比其他算法好得多但没有分析上的原因，只能说，就我们所知，它或多或少是可行的?例如，有很多关于理解SAT求解子句学习的出版物，因为我们没有，在某种程度上，仍然没有清楚地理解它为什么有效。但这个特殊的例子是一个非常宝贵的结果，即使理解有限。
实验结果的另一个问题是，由于来自工业应用/调用上下文的主导因素越来越多(且难以重复或预测)，实际相关性逐渐降低。学术数据集倾向于关注工业问题的一个小范围，这个范围是一个异常值——在工业中不能很好地解决的问题。通常情况下，好的实验结果在实践中很难实现，因为围绕着识别、定位和整合相关波段的问题。如果工业界的数据/问题集能够更仔细地构造，以便易于改编或普遍使用，这将有所帮助。
谢谢
显示所有2评论