Estoy tratando de ejecutar una chispa de la aplicación utilizando bin/spark-presentar. Cuando hago referencia a mi solicitud jar dentro de mi sistema de ficheros local, funciona. Sin embargo, cuando he copiado mi jar de aplicación a un directorio en hdfs, tengo la siguiente excepción:

Advertencia: Saltar remoto jar hdfs://localhost:9000/user/hdfs/jars/simple-project-1.0-SNAPSHOT.jar.
java.lang.ClassNotFoundException: com.ejemplo.SimpleApp

Aquí está el comando:

$ ./bin/spark-submit --class com.example.SimpleApp --master local hdfs://localhost:9000/user/hdfs/jars/simple-project-1.0-SNAPSHOT.jar

Estoy usando hadoop versión 2.6.0, la chispa de la versión 1.2.1 de

  • lo que hizo que finalmente decida aquí? Hizo cambiar de HILADO o encontrar otra solución? Sanjiv, a continuación, se apunta a un bicho que parece periféricamente pertinentes. Intenta –implementar en modo de clúster ? Gracias, interesante bug si es realmente un error, y no parecen haber sido enviados directamente a JIRA. Tal vez de verificación este
InformationsquelleAutor dilm | 2015-02-26

4 Comentarios

  1. 20

    La única forma en que trabajó para mí, cuando yo estaba usando

    –maestro hilo de los clúster

    • Lo que si no quieren usar HILO? Veo que este es el aceptado respuesta todavía el OP estaba tratando de utilizar el local de la[*]? Eeen-teresting.
    • –maestro hilo de clúster no está funcionando para mí. La siguiente es mi fragmento de los registros: Apr 11, 2018 9:22:20 AM org.apache.chispa.el lanzador.OutputRedirector redirigir INFO: maestro hilo de los clúster Abr 11, 2018 9:22:20 AM org.apache.chispa.el lanzador.OutputRedirector redirigir INFO: deployMode clúster Abr 11, 2018 9:22:20 AM org.apache.chispa.el lanzador.OutputRedirector redirigir INFO: Advertencia: Saltar remoto jar hdfs://locahlost/user/MyUser/Sample-1.0.1Manish-SNAPSHOT.jar.
  2. 8

    Para hacer HDFS biblioteca accesible chispa de empleo , usted tiene que ejecutar el trabajo en el modo de clúster.

    $SPARK_HOME/bin/spark-submit \
    --deploy-mode cluster \
    --class <main_class> \
    --master yarn-cluster \
    hdfs://myhost:8020/user/root/myjar.jar
    

    También, no Hay Chispa JIRA planteadas por el cliente de modo que no es compatible todavía.

    CHISPA-10643 :Apoyo HDFS de descarga de la aplicación en modo cliente spark presentar

    • Bonita respuesta para mí esto debe ser aceptado 🙂 pero no está mostrando el modo cluster, que están mostrando el hilo, usted necesita --deploy-mode cluster y --master spark://yourmaster:7077 en lugar de --master yarn-cluster? Si el OP dijo que él está usando HILO se me perdió, aunque supongo que HDFS es una buena pista. Creo que, como se dijo, el OP está tratando de usar la Chispa de trabajo y de encontrar un bug con el modo local?
  3. 1

    Hay una solución. Usted puede montar el directorio en HDFS (que contiene su aplicación jar) como directorio local.

    Yo hice lo mismo (con azure blob de almacenamiento, pero debe ser similar para HDFS)

    ejemplo de comandos de azure fue adquirida

    sudo mount -t cifs //{storageAccountName}.file.core.windows.net/{directoryName} {local directory path} -o vers=3.0,username={storageAccountName},password={storageAccountKey},dir_mode=0777,file_mode=0777

    Ahora, en su chispa enviar comando, debe proporcionar la ruta de acceso desde el comando de arriba

    $ ./bin/spark-submit --class com.example.SimpleApp --master local {local directory path}/simple-project-1.0-SNAPSHOT.jar

  4. -1

    Sí, tiene que ser un archivo local. Creo que es simplemente la respuesta.

    • Pero en el documentación oficial, afirmó allí que: «la aplicación jar: Ruta de acceso a un paquete de tarro, incluyendo su aplicación y de todas las dependencias. La dirección URL debe ser visible a nivel mundial dentro de su cluster, por ejemplo, un hdfs:// path o un file:// ruta de acceso que está presente en todos los nodos.»
    • buen punto. Que pena una pregunta al [email protected] lista de correo. Desde rozando el código parece que específicamente sólo permite que los archivos locales
    • Gracias. Voy a tratar de la lista de correo, por ahora.
    • Hubo una respuesta en las listas de correo?
    • Hay alguna actualización?
    • Usted tiene el uso –maestro hilo de los clúster en la chispa presentar siempre que utilice Hilo como su administrador de clúster.
    • La lista de correo no es muy útil, cuando hay una respuesta que es genial, pero tantas preguntas sin respuesta! Ellos necesitan de gamificación como tal, realmente parece funcionar. Mientras tanto la respuesta de Sanjiv parece que ha identificado CHISPA-10643 que se refiere con esto, por lo que debe utilizar –implementar en modo de clúster de forma explícita. Por supuesto, local[*] no funciona con ese. Pero ese error, ahora que lo miro, no parece que lidiar con esto directamente.

Dejar respuesta

Please enter your comment!
Please enter your name here