Soy un maniquí en Ubuntu 16.04, desesperadamente tratando de hacer que la Chispa de trabajo.
He intentado solucionar mi problema con las respuestas que se encuentran en stackoverflow, pero no pude resolver nada.
El lanzamiento de chispa con el comando ./spark-shell de la carpeta bin me sale este mensaje

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable".

Estoy usando la versión de Java es

java version "1.8.0_101
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode).

Chispa es la última versión: 2.0.1 con Hadoop 2. 7.
También he vuelve a intentar con un paquete más antiguo de la Chispa, el 1.6.2 con Hadoop 2.4 pero obtengo el mismo resultado. También he intentado instalar Chispa en Windows, pero parece más difícil que hacerlo en Ubuntu.

También traté de ejecutar algunos comandos en la Chispa de mi portátil: podemos definir un objeto, que puede crear un dispositivo de este tipo y almacenar en caché y puedo usar la función de .map(), pero cuando intento ejecutar la función .reduceByKey() he recibido varias cadenas de mensajes de error.

Puede ser es la de Hadoop de la biblioteca, que está compilado para 32 bits, mientras yo estoy en 64 bits?

Gracias.

no es necesario utilizar el nativo de hadoop bibliotecas-que es sólo una advertencia que indica que las cosas funcionan más lentamente. Suena como que tiene un problema diferente que le impide hacer una reduceByKey — tal vez pida a una pregunta diferente con los mensajes de error resultante de obtener

OriginalEl autor cane_mastino | 2016-10-13

2 Comentarios

  1. 15

    Pasos para solucionarlo:

    • descargar Hadoop binarios
    • descomprimir en el directorio de su elección
    • conjunto HADOOP_HOME a punto para ese directorio.
    • agregar $HADOOP_HOME/lib/native a LD_LIBRARY_PATH.
    Ir a /etc/profile.d directorio y crear un hadoop.sh archivo en el que hay con la exportación de HADOOP_HOME=/opt/hadoop/hadoop exportación HIVE_HOME=/opt/hadoop/colmena export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin Después de guardar el archivo, asegúrese de chmod +x /etc/profile.d/hadoop.sh fuente /etc/profile.d/hadoop.sh
    Lo siento soy nuevo en Stackoverflow y cometió un error de enviar el comentario antes de tiempo. La cosa que yo quería hacer era escribir los comandos que debo escribir para establecer HADOOP_HOME y añadir a la variable LD_LIBRARY_PATH; de modo que Usted puede corregir mí antes de hacer daño. Así: ir a ‘/etc/profile.d directorio’ y crear un hadoop.sh archivo en el que hay con: «la exportación HADOOP_HOME=/opt/hadoop/hadoop’ ‘exportar HIVE_HOME=/opt/hadoop/colmena’ ‘export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin’ Después de guardar el archivo: ‘chmod +x /etc/profile.d/hadoop.sh fuente /etc/profile.d/hadoop.sh’. Muchas gracias por la ayuda!
    Es mejor usar la Chispa de los archivos de configuración para que mediante la edición de conf/spark-env.sh en su SPARK_HOME.
    Tanque Yo @LostInOverflow , por lo que debo hacer: cd /spark-2.0.1-bin-hadoop2.7/conf sudo nano spark-env.sh y escribir dentro de él: export HADOOP_HOME=/home/myname/hadoop-2.7.3 luego export PATH=$HADOOP_HOME/lib/native ¿es lo correcto? Lo siento por redundante consultar
    Si estos son los caminos.

    OriginalEl autor

  2. 3
    1. Descargar hadoop binario (enlace) y ponlo en tu directorio home
      (usted puede elegir una diferente versión de hadoop si te gusta y cambiar los siguientes pasos en este sentido)
    2. Descomprimir la carpeta en su directorio de inicio utilizando el siguiente comando.
      tar-zxvf hadoop_file_name
    3. Ahora agregar a la exportación HADOOP_HOME=~/hadoop-2.8.0 a su .bashrc archivo. Abra una nueva terminal y vuelve a intentarlo.

    Fuente: Instalar PySpark en ubuntu

    OriginalEl autor Michael James Kali Galarnyk

Dejar respuesta

Please enter your comment!
Please enter your name here