He instalado chispa 2.2 con winutils en windows 10.cuando voy a ejecutar pyspark estoy mirando debajo de excepción

pyspark.sql.utils.IllegalArgumentException: "Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

Ya he probado el permiso 777 comandos en tmp/colmena carpeta.pero no es trabajo de ahora

winutils.exe chmod -R 777 C:\tmp\hive

después de aplicar esta el problema sigue siendo el mismo. Estoy usando pyspark 2.2 en mi windows 10.
Ella es la chispa-shell env
pyspark.sql.utils.IllegalArgumentException:

Aquí es pyspark shell
pyspark.sql.utils.IllegalArgumentException:

Amablemente me ayude a averiguar
Gracias

  • gracias Jacek por su respuesta. yo estaba tratando de su instrucción en la configuración de mi.tengo éxito de instalar en la computadora de mi casa. ok aquí es el Causado por: org.apache.chispa.sql.AnalysisException: java.lang.RuntimeException: java.net.ConnectException: Llamada De ESCRITORIO-SDNSD47/192.168.10.143 a 0.0.0.0:9000 error en la conexión exception: java.net.ConnectException: Conexión rechazada: yo estoy haciendo esto. amablemente me ayude
  • Muchas gracias Jacek . hubo un Hdfs conf ruta de la carpeta que he creado en mi variable de usuario para el experimento anterior. he eliminado y pyspark está trabajando 🙂 muchas gracias y lo siento por molestar a usted. estoy aprendiendo chispa pero hoy he aprendido cómo arreglar una rara excepción como esto. Muchas gracias
  • Todos aprendemos aquí. He utilizado nuestra conversación para responder a su pregunta de referencia para el futuro. Por favor, acepte si coincide con lo que ayudó a resolver el problema. Gracias.
  • Posibles duplicados de Chispa 2.1 – Error al crear instancias de HiveSessionState
InformationsquelleAutor Kalyan | 2017-07-19

8 Comentarios

  1. 1

    Puerto 9000?! Debe ser algo de Hadoop-relacionadas como no recuerdo el puerto de Chispa. Me gustaría recomendar el uso spark-shell primero que eliminaría cualquier adicional «saltos», es decir, spark-shell no requieren de dos tiempos de ejecución para la Chispa de sí mismo y Python.

    Dada la excepción estoy bastante seguro de que el problema es que tienes algunos la Colmena
    o Hadoop-configuración relacionados en algún lugar por ahí y Chispa utiliza al parecer.

    La «Causado por» parece mostrar que 9000 se utiliza cuando la Chispa de SQL se crea que es cuando la Colmena consciente subsistema está cargado.

    Causada por: org.apache.chispa.sql.AnalysisException: java.lang.RuntimeException: java.net.ConnectException: Llamada De ESCRITORIO-SDNSD47/192.168.10.143 a 0.0.0.0:9000 error en la conexión exception: java.net.ConnectException: Conexión rechazada

    Por favor revise las variables de entorno en Windows 10 (posiblemente usando set comando en la línea de comandos) y quitar nada de Hadoop-relacionados.

  2. 3

    Tuve el mismo problema al usar el comando ‘pyspark’ así como ‘chispa-shell’ (para scala) en mi mac os con apache spark 2.2. Basado en algunas investigaciones que he descubierto su causa de mi JDK versión 9.0.1 que no funciona bien con Apache Spark. Ambos errores se resolvió por el cambio de nuevo de Java JDK de 9 a JDK 8.

    Que tal vez podría ayudar con su windows chispa de instalación también.

  3. 1

    La publicación de esta respuesta para la posteridad. Me enfrenté a el mismo error.
    La forma en que lo resuelto es el primer tratando de salir de chispa-shell en lugar de pyspark. El mensaje de error fue más directo.

    Esto le dio una idea mejor; no fue S3 error de acceso.
    Siguiente; he comprobado el ec2 papel/perfil de instancia de instancia; ha S3 de acceso de administrador.

    Entonces hice un grep para el s3://en todas las conf archivos bajo el directorio /etc/.
    Luego me enteré de que en core-site.xml hay una propiedad llamada

    <!-- URI of NN. Fully qualified. No IP.-->
    <name>fs.defaultFS</name>
    <value>s3://arvind-glue-temp/</value>
    </property>

    Entonces me acordé. Me había quitado HDFS como el sistema de archivos predeterminado y establecido a S3. Yo había creado la instancia de ec2 desde temprano de la AMI y se había olvidado de actualizar el S3 correspondiente a la nueva cuenta.

    Una vez que he actualizado el s3 a la que se accede por la actual instancia de ec2 perfil; funcionó.

  4. 0

    El uso de Chispa en el sistema operativo Windows, usted puede seguir este guía.

    NOTA: Asegúrese de que usted tiene resuelve correctamente su dirección IP con el nombre de la máquina así como localhost, la falta de localhost resolución ha causado problemas para nosotros en el pasado.

    También, usted debe proporcionar el completo seguimiento de la pila, ya que ayuda a depurar el problema de forma rápida y guarda las conjeturas.

    Hágamelo saber si esto le ayuda. Saludos.

  5. 0

    Probar esta . A mí me funcionó!. Abra un símbolo del sistema en modo de administrador y, a continuación, ejecute el comando ‘pyspark’. Esto debería ayudar a abrir una chispa de sesión sin errores.

  6. 0

    Yo también venir a través del error en Unbuntu 16.04:

    raise IllegalArgumentException(s.split(': ', 1)[1], stackTrace)
    pyspark.sql.utils.IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

    esto es debido a que tengo ya ./bin/spark-shell

    Así, acaba de matar a ese spark-shell, y volver a ejecutar ./bin/pyspark

  7. 0

    Yo también venir a través del error en MacOS10, y lo resuelto por el uso de Java8 en lugar de Java9.

    Cuando Java 9 es la versión predeterminada llegar resuelto en el medio ambiente, pyspark va a tirar error más abajo y verás el nombre de ‘xx’ no está definido de error cuando se intenta acceder a sc, spark, etc. desde shell /Jupyter.

    más detalles se puede ver en este enlace

  8. 0

    Debe tener hive-site.xml archivo en la chispa del directorio de configuración.
    Cambiar el puerto de 9000 a 9083 resuelto el problema para mí.

    Por favor asegúrese de que la propiedad se actualiza en ambos el hive-site.xml archivos que sería colocada bajo colmena config y chispa config directorio.

    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://localhost:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>   </property>

    Para mí en ubuntu, la ubicación de hive-site.xml son:

    /home/hadoop/colmena/conf/

    y

    /home/hadoop/spark/conf/

Dejar respuesta

Please enter your comment!
Please enter your name here