mrjob 可以让用 Python 2.5+ 来编写 MapReduce 作业，并在多个不同平台上运行，你可以：
使用纯 Python 编写多步的 MapReduce 作业
在本机上进行测试
在 Hadoop 集群上运行
使用 Amazon Elastic MapReduce (EMR) 在云上运行
pip 的安装方法非常简单，无需配置，直接运行：pip install mrjob
代码实例：
from mrjob.job import MRJob
class MRWordCounter(MRJob):
def mapper(self, key, line):
for word in line.split():
yield word, 1
def reducer(self, word, occurrences):
yield word, sum(occurrences)
if __name__ == "__main__":
MRWordCounter.run()
www#gaodaima.com来源gao!%daima.com搞$代*!码$网搞代码
来源：搞代码网：原文地址：https://www.gaodaima.com
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：使用Python编写MapReduce作业
转载请注明原文链接：使用Python编写MapReduce作业
