windows – 在运行spark-shell之前编辑spark-env.sh的正确方法是

我在我的本地
Windows机器上运行spark.我能够成功启动spark shell.

我想编辑驻留在conf /文件夹中的spark-env.sh文件.将值添加到spark-env.sh文件的正确方法是什么.

E.g如果我想为SPARK_EXECUTOR_MEMORY变量添加值怎么做?
我对可用的不同答案感到困惑
1. SPARK_EXECUTOR_MEMORY =“2G”
出口

解决方法

spark-env.sh是一个用于Unix的常规bash脚本,因此在Windows安装中它永远不会被拾取.

在Windows上,您需要在conf目录中有一个spark-env.cmd文件,而是使用以下语法:

set SPARK_EXECUTOR_MEMORY=2G

在Unix上,该文件将被称为spark-env.sh,您需要使用export预先发送每个属性(例如:export SPARK_EXECUTOR_MEMORY = 2G)

相关文章

发表回复

您的电子邮箱地址不会被公开。