标签：Shell java pyspark windows hadoop util apache org BUG
背景： 在windows 系统中开发pyspark程序。
一个简单的WC程序：
from pyspark.sql import SparkSession
spark = SparkSession.builder.<a href="https://www.gaodaima.com/tag/app" title="查看更多关于app的文章" target="_blank">app</a>Name('SparkByEx').getOrCreate()
sc = spark.sparkContext
text_file = sc.textFile("nba.csv")
counts = text_file.flatMap(lambda line: line.split(" ")) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("nba_wc.txt")
错误：
<code>Py4JJavaError 051.saveAsTextFile<br>ExitCodeException exitCode=-1073741515:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)
at org.apache.hadoop.util.Shell.run(Shell.java:479)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:773)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:866)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:849)
分析：
1，因为%Hadoop%/bin内的winutils.exe需要MSVCP100.dll 。
2，这个程序需要你的电脑内有MSVCP100.dll文件。 而该文件包含在Microsoft Visual C++ 2010 Service Pack 1 Redistributable Package 里面。
至于为什么会确实文件，可能是系统更新的原因。
下载安装地址：（64位系统）
https://www.microsoft.com/en-us/download/details.aspx?id=26999
亲自验证，成功；
标签：Shell,java,pyspark,windows,hadoop,util,apache,org,BUG
来源： https://www.cnblogs.com/gao1261828/p/16376004.html
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：一个因为windows系统缺失文件而导致的pyspark的BUG
转载请注明原文链接：一个因为windows系统缺失文件而导致的pyspark的BUG
