本文共 1061 字，大约阅读时间需要 3 分钟。

原submit提交脚本

#!/bin/bashspark-submit \  --class com.jxre.bigdata.sparks.SumIrradiateCalc \  --master spark://node1.sdp.cn:7077 \  --driver-memory 3G \  --deploy-mode cluster \  --supervise \  --executor-memory 12G \  --total-executor-cores 2\  --name SumIrradiateCalc \  --conf spark.sql.warehouse.dir=hdfs://node1.sdp.cn:8020/user/hive/warehouse \  /opt/spark/sparkapp.jar

错误提示

由于standalone模式下的集群环境，JAR文件必须通过HDFS共享。之前的脚本直接使用本地路径可能导致driver节点无法访问所需的JAR文件。

解决方案

步骤1：上传JAR文件到HDFS

以HDFS用户身份登录到集群：

创建所需的HDFS目录：

将JAR文件上传到HDFS：

步骤2：修改提交脚本

在提交脚本中，使用HDFS路径指向JAR文件：

这样修改后，JAR文件将通过HDFS共享给集群中的所有节点，确保Spark任务能够顺利运行。