ACM通信

MapReduce是一个用于处理和生成大型数据集的编程模型和相关实现，它适用于各种各样的现实任务。用户以a的形式指定计算地图和一个减少函数，底层运行时系统自动跨大规模计算机集群并行计算，处理计算机故障，并调度机间通信，以有效利用网络和磁盘。程序员发现该系统易于使用:在过去的四年里，谷歌内部实现了一万多个不同的MapReduce程序，每天平均有十万个MapReduce作业在谷歌的集群上执行，每天处理的数据总量超过20 pb。