Ho riscontrato lo stesso problema e la soluzione più semplice è impostare $SPARK_HOME a /usr/local/Cellar/apache-spark/<your_spark_version>/libexec/ invece.
Puoi anche compilare direttamente dal sorgente e puoi trovare le istruzioni qui.
Fondamentalmente basta fare
git clone https://github.com/apache/spark/`
cd spark
git checkout origin/branch-X.Y
build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
Dovrai impostare $SPARK_HOME alla directory di primo livello del codice sorgente spark.
Un ticket sulla pagina del progetto ha aiutato:
unset SPARK_HOME && spark-submit
https://github.com/Homebrew/homebrew/issues/48898#issuecomment-180633967