ACM通信

去学术界的路上发生了一件有趣的事…

我清楚地记得当我知道我不想成为一个纯粹的数学家的时候。那是我大二的春天，我正在斯坦福大学学习数学专业。那是2003年，每个人都是计算机科学(CS)专业的学生，要么准备被送到谷歌，要么自己创业。当然，作为我自己，我把不是计算机科学专业的学生视为一种荣誉;我可没跟猴子僵尸一伙的。我曾参加过编程课程，但我觉得与语言(C/ c++)的斗争与实际表达思想的比例让CS远不如数学那么刺激。顺便说一句，如果我第一次接触的是函数式编程语言(Scheme或Clojure例如)。也就是说，我19岁的时候更没有耐心，所以这可能不是真的。

真正让我想进入计算机科学的是一个非常好的数学系研讨会。它是关于代数拓扑在最初的四十分钟左右的时间里，我被标准的数学循环所吸引:定义概念，建立抽象，机器被搅拌成定理。最后，演讲者开始谈论数字和手写识别的应用。当时，我对机器学习(ML)一无所知，但我很怀疑，如果你真的想解决像数字识别这样的问题，你最终会做些什么贝蒂的数字或者代数拓扑学。这一怀疑在当晚的一次关于数字识别的最新技术的谷歌会议上得到了证实:如果你从真正想要解决问题的角度出发，那么有更好、更简单、更直接的方法来解决问题。

这是我第一次接触机器学习研究，其中有一些特殊的东西吸引了我。作为数学怪才，我喜欢这种技术机制，喜欢你如何将相同的想法适应不同的设置。但真正让我着迷的是查看数据并思考如何将对问题的直觉表达为实际代码的过程。我当时并没有意识到这一点，但获取定性想法并努力用计算方式表示它们的过程是人工智能(AI)的核心。

那天晚上我学到的一点关于机器学习的知识让我做了一个相当大的改变。幸运的是，我已经在斯坦福大学，那里有一套很棒的人工智能相关课程(机器学习，图形模型等)，我继续学习。然后我去了加州大学伯克利分校攻读计算机科学博士学位，专攻统计自然语言处理(NLP)和机器学习。我从我的博士生导师丹·克莱因那里学到的东西，比任何人在学术上或专业上都要多。在他的指导和指导下，我成为了一名可靠的NLP研究员，我们的工作获得了多个最佳论文奖。研究生毕业后，我得到了麻省大学阿默斯特分校的终身教职，并计划在麻省理工学院攻读博士后，然后成为麻省大学的教授。如果我自己这么说的话，我正走在通往相当有前途的学术生涯的道路上。

在麻省理工的某个时候，我决定离开去创业，因为我觉得作为一名学者，我的工作不会产生我想要的影响。我进入学术CS是为了设计NLP模型，这将成为主流消费产品的基础。我离开的原因是，从研究到产品的这条路很少奏效，如果能成功，那是因为一家公司是以研究为核心建立起来的(想想谷歌)。这不是我突然意识到的，而是我在观察学术界和工业界多年后一直在思考的问题。

在研究生期间，我为“数据初创公司”做了很多咨询(在“大数据”出现之前)，并始终遇到相同的故事:聪明的创始人，通常不是技术人员，有一些涉及NLP或ML的想法，他们来找我，只是作为承包商为他们“敲定一个模型”。我会花几个小时的时间，试图把他们想要解决的问题具体化，然后解释为什么他们想要的NLP是非常困难的，而且距离可行还有很多年的时间;即使这样，他们也需要一个优秀的NLP团队来实现它，而不是我每周在董事会上向他们的工程师解释ML。可用的细粒度情绪分析不会作为一个次要项目来解决。

通常情况下，这些公司的创始人确实找到了真正的痛点，但他们对ML的看法是，这是一种“神奇的酱汁”，他们可以撒在一个想法上，从而制造出一种产品。这些想法都不受可行性或可行性的限制。他们也无法认识到他们所面临的数据问题，以及他们可以解决哪些问题，因为他们不习惯以那种方式看待世界。机器学习，如果它是产品的关键部分，就不能只是发展和依附于公司的核心，除非它从一开始就存在并融入基础。

在学术方面，我对统计自然语言处理领域正在研究的各种问题越来越感到沮丧。像任何学术团体一样，NLP内部的工作在很大程度上已经成为一种内部对话，讨论解决社区本身具体化的重要问题的方法。以自然语言的句法分析为例(本质上是自动绘制一个句子的图表)。这是一个根植于语言学的历史问题，可以追溯到大半个世纪以前。在这一领域进行NLP工作的动机是，在某种程度上，如果我们想真正理解句子的语义，我们需要首先确定语法。当然，语法解析在机器翻译和其他领域有更具体的使用，但由于这个历史路线图，问题已经有了它的地位。这是一个完全合理的问题，但令人沮丧的是，现在它与其他更直接的问题无关:我如何将所有的新闻或电子邮件总结成易于理解的内容?如何将客户问题直接映射到数据库查询?我如何找到关于一个主题的有趣的论述?

自然语言处理领域的人在这些领域和终端用户问题上做得很好，但总的来说，社区的方向是开发工具来诱导传统语言结构，原则上这将促进下游应用。显然，如果我们解决了语法解析，做这些和其他现实世界的任务可能会更容易，但另一方面，如果我们更直接地处理这类问题，我们可能会发现语言分析并不像我们想象的那么重要，或者我们可能会对高阶语言抽象有更好的了解，这些抽象实际上是值得诱导的，因为它们是特定应用的障碍。

对于这种担忧，我的回应是把我自己的研究集中在建立和解决我认为更接近这种现实应用的问题上。当我在麻省理工学院从事一个这样的项目时，我开始怀疑这种策略。我当时正在从社交媒体上关于一家餐厅各个方面的评论中提取片段;例如，在餐馆评论的领域，“我喜欢鸡肉帕尔姆，但服务员非常傲慢”，你会把“我喜欢鸡肉帕尔姆”作为对食物的积极情绪，而“服务员非常傲慢”作为对服务的消极情绪，而忽略其他可能没有任何具体或有用的片段的评论。

像这样的东西确实对许多应用程序有用，但仅仅是作为Yelp之类的东西的附加组件。这实际上是有用的，但NLP不会是产品的核心。事实上，当我想到我在产品中看到的大多数NLP研究的用途时，大多数都是核心体验的外围:增加2%的广告点击量，增加一两分钟的会话长度，增加1%的“喜欢”。我离开是因为NLP要成为产品的核心部分，唯一的办法就是有像我这样的人加入公司。所以我从麻省理工搬回旧金山湾区和别人合伙创立了棱镜和布拉德福德·克罗斯。

将近两年后，在对行业进行了大量学习并制作了真正的产品之后，我可以自信地说，我很高兴自己离开了学术界。Prismatic非常精确地实现了我希望NLP和ML在初创公司中如何工作并在产品中体现出来的想法。这种关系是共生的:机器学习和技术正在为产品提供可能性，相反，产品需求正在产生有趣的研究。机器学习的各个部分(如主题模型中的主题)都是一流的产品元素。我在研究生期间想到的许多更有雄心的NLP想法将在未来几年内成为产品的一流方面。

来到这里并不容易。

我的联合创始人和同事花了6个月的时间，研究如何打造高参与度的体验，以及为什么其他“聪明的新闻”项目从未真正奏效。一旦我们获得了种子基金，我们并没有急着快速开发出MVP(最小可行产品)，而是花了大半年的时间来解决初创公司的一个棘手的研究问题，并通过大量的试错，深思熟虑地开发出一款高粘性的产品。我们也找不到比前两名员工更好的早期团队了，他们是我读博士时认识的:来自伯克利的杰森·沃尔夫(Jason Wolfe)和来自斯坦福的珍妮·芬克尔(Jenny Finkel)。总而言之，我认为我们已经在强大的计算机科学和人工智能领域开辟了一个有趣的利基市场，专注于让智能可用的产品成为现实。我最喜欢我们的方法是，我们总是被直接和真实的问题所激励，解决方案可以自由地深入深入的抽象和技术壕沟。

咏叹调Haghighi他是Prismatic的联合创始人。他是一名多次获奖的统计自然语言处理研究员，也是前微软研究员。他拥有加州大学伯克利分校的计算机科学博士学位和斯坦福大学的数学学士学位。

评论

查看更多评论