He instalado Zeppelin 0.7.1. Cuando traté de ejecutar el Ejemplo del programa spark(que estaba disponible con Zeppelin Tutorial notebook), recibo el siguiente error

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:391)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:380)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:828)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

También he de configuración el archivo de configuración(zeppelin-env.sh) para que apunte a mi Chispa de instalación & configuración de Hadoop directorio

export SPARK_HOME="/${homedir}/sk"
export HADOOP_CONF_DIR="/${homedir}/hp/etc/hadoop"

La Chispa de la versión que estoy utilizando es 2.1.0 & Hadoop es 2.7.3

También estoy utilizando el valor predeterminado de Chispa Intérprete de Configuración(por lo de la Chispa está configurado para ejecutarse en Local mode)

Que me estoy perdiendo algo aquí?

PS : soy capaz de conectarse a la chispa de la Terminal usando spark-shell

OriginalEl autor Raj | 2017-04-08

9 Comentarios

  1. 12

    Justo ahora tengo en la solución de este problema para Zeppelin-0.7.2:

    Causa raíz es : la Chispa de intentar la instalación de la Colmena contexto, pero hdfs servicios
    no se está ejecutando, por eso HiveContext convertirá en nulo y tirar null
    excepción de puntero.

    Solución:

    1. El programa de instalación de Saprk Casa [opcional] y HDFS.

    2. Ejecutar HDFS servicio

    3. Reinicie zeppelin servidor

    O

    1. Ir a Zeppelin de la configuración del Intérprete.

    2. Seleccione Chispa Intérprete

    3. zeppelin.spark.useHiveContext = false

    Es que funcionan a la perfección para mí.
    El HiveContext hizo para mí también!
    Queridos @RajeevRathor y @BenjaminBaron, yo no pretendo ser grosero, pero estoy seguro de que upvoting la respuesta sirve para el mismo propósito como la escritura de los comentarios. Cuando se coloca el ratón sobre add a comment, la ventana emergente que dice .. Avoid comments like "+1" or "thanks". para su INFORMACIÓN, esta solución no funciona para mí.

    OriginalEl autor Rajeev Rathor

  2. 8

    Por último, soy capaz de encontrar la razón. Cuando revisé los registros en ZL_HOME/directorio de registros, averiguar parece ser la Chispa Controlador de error de enlace. Se ha añadido el siguiente propiedad en la Chispa de la Intérprete de Enlace y funciona bien, ahora…

    Llegar a NullPointerException cuando se ejecuta Chispa Código en Zeppelin 0.7.1

    PS : Parece que este problema viene principalmente si se conecta a la VPN…y me conecta a la VPN

    OriginalEl autor Raj

  3. 2

    Hizo establece el derecho SPARK_HOME? Sólo se preguntó qué sk es en su

    export SPARK_HOME="/${homedir}/sk"

    (Yo sólo quería hacer un comentario debajo de tu pregunta, pero no podía, debido a mi falta de reputación😭)

    sí, que es donde tengo instalado Chispa :). que es el directorio principal de la Chispa de la instalación

    OriginalEl autor Ahyoung Ryu

  4. 0

    resuelto por la adición de esta línea en la parte superior del archivo common.sh
    en dir zeppelin-0.6.1, a continuación, bin

    abierto common.sh
    y agregar comando en la parte superior de archivo :

    unset CLASSPATH

    OriginalEl autor Mmagdy

  5. 0
        enterCaused by: java.net.ConnectException: Connection refused (Connection refused)
            at java.net.PlainSocketImpl.socketConnect(Native Method)
            at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
            at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
            at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
            at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
            at java.net.Socket.connect(Socket.java:589)
            at org.apache.thrift.transport.TSocket.open(TSocket.java:182)
            ... 74 more
    )
            at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:466)
            at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:236)
            at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:74)
            ... 71 more
     INFO [2017-11-20 17:51:55,288] ({pool-2-thread-4} SparkInterpreter.java[createSparkSession]:369) - Created Spark session with Hive support
    ERROR [2017-11-20 17:51:55,290] ({pool-2-thread-4} Job.java[run]:181) - Job failed code here
    

    Parece Colmena Metastore servicio no se inicia. Usted puede iniciar el Metastore servicio e inténtelo de nuevo.

    hive --service metastore
    

    OriginalEl autor user2324770

  6. 0

    Estaba recibiendo exactamente el mismo excepción para zepelline versión 0.7.2 en window 7. Tuve que hacer varios cambios en la configuración para que funcione.

    Primer cambiar el nombre de los zeppelin-env.cmd.plantilla para zeppelin-env.cmd. Agregar la variable env para PYTHONPATH. El archivo puede estar ubicado en %ZEPPELIN_HOME%/conf de la carpeta.

    set PYTHONPATH=%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.4-src.zip;%SPARK_HOME%\python\lib\pyspark.zip
    

    Abrir el zeppelin.cmd de la ubicación de %ZEPPELIN_HOME%/bin para agregar un %SPARK_HOME% y %ZEPPELIN_HOME%. Estas serán las primeras líneas en la instrucción. El valor de %SPARK_HOME% se configuró como en blanco como yo estaba utilizando el incorporado chispa de la biblioteca.He añadido %ZEPPELIN_HOME% para asegurarse de que esta env está configurado en la fase inicial de arranque.

    set SPARK_HOME=
    set ZEPPELIN_HOME=<PATH to zeppelin installed folder>
    

    La próxima vamos a tener que copiar todo el frasco y pySpark de la %spark_home%/a zeppeline carpeta.

    cp %SPARK_HOME%/jar/*.jar %ZEPPELIN_HOME%/interpreter/spark
    cp %SPARK_HOME%/python/pyspark %ZEPPELIN_HOME%/interpreter/spark/pyspark
    

    Yo no estaba de partida la intérprete.cmd mientras que el acceso a la notebook. Este fue el causante de nullpointer excepción. Me abrió dos símbolo del sistema y, en un cmd empecé zeppeline.cmd y en la otra intérprete.cmd.

    Tenemos que especificar dos adicionales puerto de entrada y la ruta de acceso a zeppeline local_repo en la línea de comandos. Usted puede obtener la ruta de acceso a local_repo en zeppeline chispa intérprete de la página. Utilizar exactamente el mismo camino para iniciar el intérprete.cmd.

    interpreter.cmd  -d %ZEPPELIN_HOME%\interpreter\spark\ -p 5050  -l %ZEPPELIN_HOME%\local-repoD64VMYZE
    

    El host y el puerto debe ser especificado en la chispa intérprete de la página en zepelline interfaz de usuario. Seleccione la conexión a Proceso externo

    HOST : localhost
    PORT : 5050
    

    Una vez que todos estos en su configuración, se crea, en el siguiente paso podemos guardar y reiniciar la chispa de la intérprete. Crear un nuevo bloc de notas y escribe sc.versión.
    Se publicará la chispa de la versión. Zeppeline 0.7.2 no admite la chispa 2.2.1

    OriginalEl autor Soumyajit Swain

  7. 0

    Comprobar si el NameNode han pasado en modo seguro.

    de verificación con la sintaxis siguiente:

    sudo -u hdfs hdfs dfsadmin -safemode get
    

    para salir de modo seguro utilizar a continuación el comando:

    sudo -u hdfs hdfs dfsadmin -safemode leave
    

    OriginalEl autor Vishwajeet Pol

  8. 0

    En AWS EMR el problema era la memoria. Tuve que configurar manualmente valor inferior para spark.executor.memory en el Interpeter por Chispa mediante la interfaz de usuario de Zeppelin.

    El valor varía en función de su tamaño de la instancia.
    La mejor es la comprobación de los registros ubicados en la /mnt/var/log/zeppelin/ carpeta.

    En mi caso el error subyacente fue:

    Error initializing SparkContext.
    java.lang.IllegalArgumentException: Required executor memory (6144+614 MB) is above the max threshold (6144 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
    

    Que me ayudó a entender por qué estaba fallando y lo que puedo hacer para solucionarlo.

    Nota:

    Esto sucedió porque yo estaba empezando una instancia con HBase que los límites de la memoria disponible. Ver los valores por defecto para el tamaño de la instancia aquí.

    Yo votada abajo, porque si bien esto puede ser útil, este error no es parte de la stacktrace y no es parte de la pregunta.
    No estoy de acuerdo. El NullPointerException ocurre cuando se ejecuta la aplicación en Zeppelin. Es decir, que es la excepción que se obtiene en el extremo delantero. Cuando te sumerges en los registros, como yo, se puede ver que NullPointerException fue el enmascaramiento de los IllegalArgumentException que he mencionado anteriormente. Si usted está teniendo el mismo problema como un cartel, usted debe comprobar los registros en el camino de arriba.
    muy diferentes en mi caso. Un paquete personalizado fue instalado en el clúster y provocó el error. No estoy diciendo que usted tiene el mismo patrón. Yo estoy diciendo que la respuesta no coincide con el stacktrace en el OP no la tienen.
    Que no coincidan. El NullPointerException en la interfaz, puede ser causada por varios otras cuestiones, uno de los cuales es la que yo tenía. Para reiterar: tuve la exactamente el mismo stacktrace como el póster, pero cuando te sumerges en los registros, se puede ver que NullPointerException fue causado por otro servicio no con IllegalArgumentException donde el Zeppelin espera el resultado a no ser null. Que son, básicamente, la penalización de mí, porque su NullPointerException no fue solucionado por mi respuesta. El OP no aceptar ninguna de las respuestas, por lo que deben obtener todos los puntos negativos?

    OriginalEl autor Dusan Vasiljevic

  9. -2

    Parece ser error en Zeppelin 0.7.1. Funciona bien en 0.7.2.

    Creo que este es un problema de configuración y ocurrirá con cualquier versión de Zeppelin. Esto lo vi en Zeppelin 0.7.2

    OriginalEl autor Walker Rowe

Dejar respuesta

Please enter your comment!
Please enter your name here