He estado siguiendo este tutorial para instalar la chispa para scala:
https://www.tutorialspoint.com/apache_spark/apache_spark_installation.htm

Sin embargo, Cuando intento ejecutar spark-shell me aparece este error en mi consola.

/usr/local/spark/bin/spark-shell: line 57: /usr/local/spark/bin/bin/spark-submit: No such file or directory

Mi bashrc se parece a esto:

export PATH = $PATH:/usr/local/spark/bin
export SCALA_HOME=/usr/local/scala/bin
export PYTHONPATH=$SPARK_HOME/python

Entonces, ¿qué estoy haciendo mal? He instalado la chispa para python antes, pero ahora estoy tratando de utilizar scala. Es la chispa de confundir las variables? Gracias.

  • Usted tiene una bin demasiados en el camino de la búsqueda: /usr/local/spark/bin/bin/spark-submit debe ser /usr/local/spark/bin/spark-submit. ¿Cuál es la chispa de la casa?
  • Mi SPARK_HOME es el mismo como mi PATH, donde mi spark-shell ejecutable es
InformationsquelleAutor Curtis Chong | 2016-10-17

3 Comentarios

  1. 6

    Tiene una bin demasiados en el camino de la búsqueda:

    /usr/local/spark/bin/bin/spark-submit

    debe ser

    /usr/local/spark/bin/spark-submit

    La SPARK_HOME debe ser /usr/local/spark/ en su caso, no /usr/local/spark/bin/ como parece ser el caso ahora.

  2. 4

    Basa en @Wilmerton la respuesta, se me ocurrió la siguiente configuración dentro de mi ~/.bashrc:

    # Apache Spark stuff
    export JAVA_HOME=/usr/lib/jvm/default-java/jre
    export SPARK_HOME=/usr/lib/spark
    export SCALA_HOME=/usr/local/scala/bin
    export PATH=$PATH:${SPARK_HOME}/bin
    export PATH=$PATH:$SCALA_HOME

    (He instalado default-jdk con apt-get install default-jdk y aptitude search jdk los rendimientos de las siguientes entradas con diferentes desde p estado:

    i   default-jdk                                        - Standard Java or Java compatible Development Kit
    i A default-jdk-headless                               - Standard Java or Java compatible Development Kit (headless)
    i A openjdk-8-jdk                                      - OpenJDK Development Kit (JDK)
    i A openjdk-8-jdk-headless                             - OpenJDK Development Kit (JDK) (headless)
    iBA openjdk-8-jre                                      - OpenJDK Java runtime, using Hotspot JIT
    i A openjdk-8-jre-headless                             - OpenJDK Java runtime, using Hotspot JIT (headless)
    i   openjdk-9-jdk-headless                             - OpenJDK Development Kit (JDK) (headless)
    iB  openjdk-9-jre                                      - OpenJDK Java runtime, using Hotspot JIT
    i A openjdk-9-jre-headless                             - OpenJDK Java runtime, using Hotspot JIT (headless)

    )

    • No JAVA_HOME ampliamente espera seleccione el directorio de instalación de java y no el directorio jre? De modo que debería ser JAVA_HOME=/usr/lib/jvm/default-java no JAVA_HOME=/usr/lib/jvm/default-java/jre?
  3. 0

    Pruebe a cambiar la segunda variable de entorno en su bashrc para este

    export PATH=$PATH:/usr/local/scala/bin

    Mi .bash_profile es prácticamente el mismo que el suyo, excepto yo uso Path en lugar de SCALA_HOME

Dejar respuesta

Please enter your comment!
Please enter your name here