Trato de ejecutar spark-shell en Windows 10, pero me sale este error cada vez que lo ejecuto.

He usado ambos última chispa y 1.5.0-bin-hadoop2.4 versiones.

15/09/22 18:46:24 WARN Connection: BoneCP specified but not present in     
CLASSPATH (or one of dependencies)
15/09/22 18:46:24 WARN Connection: BoneCP specified but not present in                 CLASSPATH (or one of dependencies)
15/09/22 18:46:27 WARN ObjectStore: Version information not found in    
metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
15/09/22 18:46:27 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
15/09/22 18:46:27 WARN : Your hostname, DESKTOP-8JS2RD5 resolves to a loopback/non-reachable address: fe80:0:0:0:0:5efe:c0a8:103%net1, but we couldn't find any external IP address!
java.lang.RuntimeException: java.lang.NullPointerException
at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
at org.apache.spark.sql.hive.client.ClientWrapper.<init>    (ClientWrapper.scala:171)
at org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute(HiveContext.scala    :163)
at org.apache.spark.sql.hive.HiveContext.executionHive(HiveContext.scala:161)
at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:168)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
at java.lang.reflect.Constructor.newInstance(Unknown Source)
at org.apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1028)
at $iwC$$iwC.<init>(<console>:9)
at $iwC.<init>(<console>:18)
at <init>(<console>:20)
at .<init>(<console>:24)
at .<clinit>(<console>)
at .<init>(<console>:7)
at .<clinit>(<console>)
at $print(<console>)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:1065)
at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1340)
at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:840)
at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:871)
at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:819)
at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:857)
at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:902)
at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:814)
at org.apache.spark.repl.SparkILoopInit$$anonfun$initializeSpark$1.apply(SparkILoopInit.scala:132)
at org.apache.spark.repl.SparkILoopInit$$anonfun$initializeSpark$1.apply(SparkILoopInit.scala:124)
at org.apache.spark.repl.SparkIMain.beQuietDuring(SparkIMain.scala:324)
at org.apache.spark.repl.SparkILoopInit$class.initializeSpark(SparkILoopInit.scala:124)
at org.apache.spark.repl.SparkILoop.initializeSpark(SparkILoop.scala:64)
at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$process$1$$anonfun$apply$mcZ$sp$5.apply$mcV$sp(SparkILoop.scala:974)
at org.apache.spark.repl.SparkILoopInit$class.runThunks(SparkILoopInit.scala:159)
at org.apache.spark.repl.SparkILoop.runThunks(SparkILoop.scala:64)
at org.apache.spark.repl.SparkILoopInit$class.postInitialization(SparkILoopInit.sca      la:108)
at org.apache.spark.repl.SparkILoop.postInitialization(SparkILoop.scala:64)
at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$proc      ess$1.apply$mcZ$sp(SparkILoop.scala:991)
at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$proc      ess$1.apply(SparkILoop.scala:945)
at org.apache.spark.repl.SparkILoop$$anonfun$org$apache$spark$repl$SparkILoop$$proc      ess$1.apply(SparkILoop.scala:945)
at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scal      a:135)
at org.apache.spark.repl.SparkILoop.org$apache$spark$repl$SparkILoop$$process(SparkILoop.scala:945)
at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:1059)
at org.apache.spark.repl.Main$.main(Main.scala:31)
at org.apache.spark.repl.Main.main(Main.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672)
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.NullPointerException
at java.lang.ProcessBuilder.start(Unknown Source)
at org.apache.hadoop.util.Shell.runCommand(Shell.java:445)
at org.apache.hadoop.util.Shell.run(Shell.java:418)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:739)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:722)
at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:1097)
at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:559)
at org.apache.hadoop.fs.RawLocalFileSystem$DeprecatedRawLocalFileStatus.getPermission(RawLocalFileSystem.java:534)
org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:599)
at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)

org.apache.hadoop.la colmena.ql.período de sesiones.SessionState.inicio(SessionState.java:508)
… 56 más

  <console>:10: error: not found: value sqlContext
import sqlContext.implicits._
^
<console>:10: error: not found: value sqlContext
import sqlContext.sql
^
  • He descargado chispa-1.5.0-bin-hadoop2.4 y empezó a chispear-shell, pero sqlContext cargas sin un problema para mí. Tengo el mismo mensajes de advertencia, excepto para el nombre de host de advertencia, así que mi conjetura es que usted necesita para arreglar su red configutation.
  • Yo no puedo averiguar la causa. Yo estaba jugando con pre-construido paquete. Después he intentado descargar el código fuente git clone git://github.com/apache/spark.git -b branch-1.6 funcionó.
  • Thx. Estoy jugando con el pre-construido paquete demasiado. Que OS están utilizando por el camino ?
InformationsquelleAutor Nick | 2015-09-22

10 Comentarios

  1. 46

    He usado Spark 1.5.2 con Hadoop 2.6 y ha tenido problemas similares. Solucionado haciendo los siguientes pasos:

    1. Descarga winutils.exe de la repositorio a algunos de los locales de la carpeta, por ejemplo,C:\hadoop\bin.

    2. Conjunto HADOOP_HOME a C:\hadoop.

    3. Crear c:\tmp\hive directorio (con el Explorador de Windows o cualquier otra herramienta).

    4. Abra el símbolo del sistema con derechos de administrador.

    5. Ejecutar C:\hadoop\bin\winutils.exe chmod 777 /tmp/hive

    Con eso, yo todavía estoy recibiendo algunas advertencias, pero no hay Errores y se puede ejecutar Chispa aplicaciones bien.

    • HADOOP_HOME es usuario si la variable de sistema? No se ejecuta en Windows 10? Lo pregunto porque no es trabajo para mí…
    • ¿Usted se propuso SPARK_LOCAL_HOSTNAME = localhost?
    • Yo todavía estoy recibiendo algunas advertencias, pero no hay Errores.
    • Thx, pero tengo errores todavía… ¿Dónde tienes la chispa de directorios que se encuentran? No se ejecuta spark-shell comando dentro del directorio bin, si bin\spark-shell?
    • Funcionó muy bien para mí. Supongo que la clave aquí es descargar la versión correcta de la windutils para su plataforma. Yo en mi caso estoy usando un windows 10 en 32 bits, y el winutils siempre arriba no funciona.Aquí un enlace para la versión de 32: code.google.com/p/rrd-hadoop-win32/source/checkout
    • Tengo Win 8.1 64 bits y distribución de Tito Barik del blog funciona en mi máquina.
    • Trabajó para mí la realización de sólo el paso 1.
    • Trabajó. Ya que yo no instalar Hadoop, he utilizado mi chispa directorio como el HADOOP_HOME. Es decir, en lugar de C:\Hadoop\bin, he usado D:\spark-1.6.1-bin-hadoop2.6\bin. Un maniquí «hadoop» directorio podría haber trabajado demasiado.

  2. 5

    Me enfrentaba a un problema similar, fue resuelto por poner el winutil dentro de la carpeta bin. El Hadoop_home se debe establecer como C:\Winutils y winutil para ser colocado en C:\Winutils\bin.

    Windows 10 64 bits Winutils están disponibles en https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.0/bin

    También asegurarse de que la línea de comandos tiene acceso administrativo.

    Consulte https://wiki.apache.org/hadoop/WindowsProblems

    • ejecuta la línea de comandos como administrador trabajado. gracias
  3. 3

    Mi conjetura es que usted está corriendo en https://issues.apache.org/jira/browse/SPARK-10528. Yo estaba viendo el mismo problema que se ejecutan en Windows 7. Al principio me estaba poniendo el NullPointerException como usted lo hizo. Cuando me pongo winutils en el directorio bin y establecer HADOOP_HOME a punto para la Chispa de directorio, recibí el mensaje de error descrito en la JIRA problema.

    • así que usted está diciendo es que al poner HADOOP_HOME a la chispa direcotyr, esto causó el error? Mi HADOOP_HOME está actualmente configurado para c:\winutitls que no es mi chispa casa, y actualmente estoy recibiendo este error
  4. 2

    O tal vez este enlace de aquí abajo sean más fáciles de seguir,

    https://wiki.apache.org/hadoop/WindowsProblems

    Básicamente descargar y copiar winutils.exe a su chispa\bin. Vuelva a ejecutar el spark-shell

    Si no ha establecido su /tmp/colmena a un estado editable, por favor, hacerlo.

    • También, es mejor que el fuego de tu spark-shell en /spark/bin.
    • ¿qué significa esto? Como contraposición a la cocción hasta donde? Lo siento si esta pregunta parece una locura, pero no estoy seguro de por qué la gente estaría disparando desde cualquier otro lugar, y estoy tratando de solucionar algo y yo tratando de descartar todo como una causa de la falla.
  5. 1

    Usted necesita para dar permiso a /tmp/subárbol de directorios para resolver esta excepción.

    Espero que ya han winutils.exe y establecer HADOOP_HOME variable de entorno. A continuación, abra el símbolo del sistema y ejecutar el siguiente comando como administrador:

    Si winutils.exe está presente en D:\winutils\bin ubicación y \tmp\colmena también está en la unidad D:

    D:\winutils\bin\winutils.exe chmod 777 D:\tmp\hive

    Para más información,puede consultar los siguientes enlaces :

    Frecuentes los Problemas se produjeron durante la Chispa de Desarrollo

    Cómo ejecutar Apache Spark en Windows7 en modo independiente

  6. 1

    Para Python – Crear un SparkSession en su python (Esta sección de configuración es sólo para Windows)

    spark = SparkSession.builder.config("spark.sql.warehouse.dir", "C:/temp").appName("SparkSQL").getOrCreate()

    Copia winutils.exe y se mantenga en C:\winutils\bin y ejecutar el bramido de los comandos de

    C:\Windows\system32>C:\winutils\bin\winutils.exe chmod 777 C:/temp

    Ejecutar el símbolo del sistema en modo ADMINISTRADOR ( Run as Administrator)

  7. 0

    Puede resolver este problema mediante la colocación de mysqlconnector jar en la chispa-1.6.0/carpeta libs y reiniciar de nuevo.Funciona.

    Lo importante es que aquí en lugar de correr chispa-shell se debe hacer

    spark-shell --driver-class-path /home/username/spark-1.6.0-libs-mysqlconnector.jar

    Esperanza se debe trabajar.

  8. 0

    Mi problema era el de tener otro .exe/Frascos dentro de la winutils/bin. Así que he borrado todas las demás y se quedó con winutils.exe solo. Estaba usando chispa 2.1.1

  9. 0

    Problema se resolvió después de la instalación correcta de la versión de Java en mi caso su java 8 y configuración de las variables de entorno. Asegúrese de ejecutar la winutils.exe para crear un directorio temporal como a continuación.

    c:\winutils\bin\winutils.exe chmod 777 \tmp\hive

    Arriba no se devuelve ningún error. Uso java -version para verificar la versión de java que está utilizando antes de invocar chispa-shell.

  10. 0

    En Windows, se necesita clonar «winutils»

    git clone https://github.com/steveloughran/winutils.git

    Y

    set var HADOOP_HOME to DIR_CLONED\hadoop-{version}

    Recuerde elegir la versión de hadoop.

Dejar respuesta

Please enter your comment!
Please enter your name here