环境：
scala：2.12.10
spark：3.0.3
1、创建scala maven项目，如下图所示：
5、点击Idea Run执行即可：
6、结果如下所示：
PS：
1、创建SparkSession时需要指定Idea所在机器ip地址，因为默认会把Spark Driver所在机器域名发送过去，导致无法解析（在spark 服务器上配置IDEA所在机器域名也可以，但是这样太不灵活）
2、spark-3.0.3默认使用的scala版本是2.12.10，所以要注意IDEA使用scala版本，否则会出现SerailizableId不一致的兼容问题
到此这篇关于IDEA创建spark maven项目并连接远程spark集群的文章就介绍到这了,更多相关IDEA spark集群内容请搜索搞代码以前的文章或继续浏览下面的相关文章希望大家以后多多
本文来源gao!%daima.com搞$代*!码$网9
支持搞代码！
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：关于IDEA创建spark maven项目并连接远程spark集群问题
转载请注明原文链接：关于IDEA创建spark maven项目并连接远程spark集群问题
