ACM通信
人工智能与可持续发展:我们在哪里，下一步是什么?
耶路撒冷希伯来大学(Hebrew University of Jerusalem)的罗伊·施瓦茨(Roy Schwartz)表示，在绿色人工智能方法中需要考虑的人工智能方面包括使技术更加环保和包容等因素。
信贷:在上面
随着人工智能(AI)越来越普及，学习模型越来越复杂，研究人员正在考虑他们工作的影响，包括环境成本。从碳成本到效率提高，关于绿色主题的讨论正在社区内展开。
我们向计算机科学和机器学习领域的研究人员询问了他们的见解。
增长是指数式的，需要一种新的方法。
“人工智能无处不在，”他说罗伊·施瓦兹自然语言处理的教授耶路撒冷希伯来大学,以色列。“我们正在以指数级的速度增长，这在任何技术领域都是前所未有的。”对施瓦茨来说，这种增长对环境和社会的影响在人工智能目前的形式下是不可持续的。
人工智能的发展速度与计算、能源和财务成本的飞跃是同步的。在2018年的一次博客，OpenAI分析了以petaflop/s天计算的量，其中petaflop/s天(pfs-day)包括执行10次15从2012年设计的卷积神经网络AlexNet到DeepMind的2017年，在最大的人工智能训练运行中使用了每秒每秒的神经网络操作AlphaGo零．
这些博主是人工智能安全和研究公司的首席执行官达里奥·阿莫代伊人为和OpenAI研究科学家丹尼·埃尔南德斯撰写了最初的帖子，而OpenAI的Girish Sastry，格雷格·布洛克曼,Ilya Sutskever，Anthropic的联合创始人Jack Clark在其附录中写道，自2012年以来，“在最大的人工智能训练中使用的计算量呈指数增长，3.4个月的时间翻了一番。”他们指出了摩尔定律——对计算速度和能力增长的观察——有两年翻倍期。
施瓦茨认为，是时候让人工智能社区更认真地审视其工作的影响了。一个2020了文章在通信是他和博士后研究员合著的杰西·道奇卡内基梅隆大学的亚马逊机器学习教授诺亚a史密斯Allen Institute for AI CEOOren Etzioni倡导所谓的绿色人工智能，而不是红色人工智能。
施瓦茨说:“当我们谈论红色人工智能时，它是试图通过增加模型容量来获得更好的结果的做法，而绿色人工智能是一种替代方案，试图考虑其他事情。”
根据施瓦茨的说法，红色人工智能已经为人工智能的今天做出了“巨大贡献”，然而，它鼓励最先进的结果，不管成本。在绿色人工智能方法下，应该考虑的“其他事情”包括使技术更加环保和包容——尽管成本不断上升，施瓦茨指出，这对谁能参与人工智能研究构成了障碍。
施瓦茨和他的合著者提出了一种双管齐下的绿色人工智能方法。一方面，他们呼吁研究人员在量化和报告其科学成果的环境和计算成本方面做得更好;另一方面，他们要求他们开发更高效的模型。施瓦茨说:“努力量化，努力更准确地估计在这些操作中使用了多少能源、电力和计算，显然努力推动更有效的解决方案。”
目前的挑战是如何计算这些成本。计算取决于许多因素，如处理器的数量、速度和能力;数据中心的效率，以及所使用的能源的数量和类型。
施瓦茨说，碳排放尤其难以确定。“这在很大程度上取决于你在哪里进行实验，你是在使用煤炭、核能还是水力发电的地区进行实验，等等。”
施瓦茨说，一种可以在地理位置之间进行效率比较的解决方案是报告产生结果所需的浮点运算(FPOs)的总数——一种衡量计算机性能的方法。他承认这不是一个完美的衡量标准:“我们正在折衷其他衡量标准所涵盖的一些方面，因为我们认为这是目前最重要的事情，能够在不同的地点比较不同的模型。”
对施瓦茨来说，透明度是未来努力的关键。作为进步的标志，他指出谷歌和加州大学伯克利分校(UC Berkeley)的研究人员最近发起了一项倡议量化释放的碳量通过近年来一些最大的自然语言处理(NLP)模型的训练。
训练并不是人工智能最大的环境威胁。
大卫•帕特森他是加州大学伯克利分校的计算机科学家，谷歌的杰出软件工程师，还有一位图灵奖获得者．他领导的研究小组——quoc Le, Chen Liang, luis- miquel Munguia, David So, Maud Texier和Jeff Dean，以及加州大学伯克利分校的Joseph Gonzalez和Daniel Rothchild——进行了施瓦茨强调的研究。
由于越来越多的担忧，帕特森参与了这个项目- - - - - -在人工智能社区和媒体中提出的关于大型NLP模型的碳足迹。他说，该组织承担了这项工作，试图“弄清楚与之相关的事实”。
研究人员计算了5个大型NLP模型的能源使用和碳足迹:T5，之一Meena，GShard，开关变压器,GPT-3．对每种模型的结果进行了详细描述由此产生的纸．例如，训练一个多回合开放领域聊天机器人Meena，需要232兆瓦时的电力，导致排放到大气中96吨(公吨)二氧化碳当量(tCO)2e);训练T5，一个预先训练的语言模型，使用86 MWh，产生47 tCO2e。
帕特森说，这项研究让人们能够正确看待训练的碳足迹。“谷歌公布了它每年使用了多少能源，所以我们根据这些大型模型的能源消耗来计算培训成本，就像它在论文中说的那样。这只是我们工作的很小一部分。”
根据研究结果，他认为培训对环境的影响不像人工智能社区开展的其他活动那么大，因为“去参加会议的人的碳足迹要大得多”。帕特森说，由于出行的碳成本问题，他最近拒绝了在上海亲自发表主题演讲的邀请，而是选择了远程形式。他鼓励人工智能社区采用虚拟会议作为良好的绿色实践。
不过，他说，在提高培训的能源效率方面还有很多工作要做。“有了云，你可以在世界上任何地方训练。你应该选择碳足迹最好的数据中心。”
“值得注意的是，”研究人员在他们的论文中建议，“选择DNN、数据中心和处理器可以减少碳足迹，最多可减少100- 1000倍。”像施瓦茨一样，他们呼吁透明度，建议能源使用和二氧化碳排放2e应该是用来评估AI模型训练需求的关键指标。
他们的建议包括部署大型但稀疏激活的深度神经网络(DNNs)，比密集的DNNs消耗更少的能量，优化模型训练的地点和时间，以及在碳足迹最小的数据中心工作。
帕特森希望形成一个“良性循环”，在这个循环中，模型的碳足迹被报告在论文中，效率被激励，良好的实践得到奖励。
目前的情况是不可持续的，但未来不一定如此。
2020年2月博客，阿米特Talwalkar卡耐基梅隆大学(Carnegie Mellon University)机器学习系助理教授罗睿兰认为，人工智能必须变得更环保，并概述了实现这一目标的几项战略，包括提高硬件性能和鼓励合作。
Talwalkar在新冠病毒爆发前发表了这篇文章。他说，20多个月后的今天，疫情加剧了这种趋势。“人们更倾向于技术，如今更倾向于技术意味着更倾向于人工智能，所以，如果有什么不同的话，我认为疫情进一步加速了这个已经非常快的行业。”
塔瓦卡说，车型越来越大，“从能源的角度来看，它们的效率真的很低。它们不是很环保。”然而，他强调，重要的是要记住，人工智能仍处于早期阶段。“我们正在投入一切我们能投入的资源，看看我们如何能推动事情向前发展。”
Talwalkar将两者进行了比较人类基因组计划(HGP)，估计有成本27亿美元超过13年，以及红色AI。“这非常昂贵，效率非常低，显然不是一件可复制的事情，我们可以用那么长时间和那么多钱对一个人的基因组进行测序，但它向我们展示了这是可能的，它为我们铺平了道路。”
Talwalkar指出，尖端技术通常不是建立在最高效的流程之上的。他预计人工智能模型的训练效率将会提高。“在数据中心，我们看到算法变得更加高效;我认为我们知道如何解决这些问题。”
然而，他说，人工智能仍然是“相当黑的盒子”，因为我们还没有完全了解它，实验正在现实世界中进行，而不仅仅是在实验室中。这也引发了人们对公平和隐私等问题的担忧。Talwalkar说:“这种实验导致了红色人工智能，但它也导致了这些社会问题。
对人工智能和可持续性的看法各不相同。然而，随着社区更深入地思考其工作对地球和社会的影响，更大的透明度、问责制和提高效率正成为共同的目标。
凯伦·埃姆斯里是一名地点独立的自由记者和散文家。
没有发现记录