Soy nuevo en hadoop.

Estoy tratando de instalar hadoop en mi ordenador portátil en Pseudo-Distribuido modo.

Estoy corriendo con usuario root, pero me da el siguiente error.

[email protected]:~# $HADOOP_PREFIX/sbin/start-dfs.sh
WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.
Starting namenodes on [localhost]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. 
Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. 
Aborting operation.
Starting secondary namenodes [debdutta-Lenovo-G50-80]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
WARNING: HADOOP_PREFIX has been replaced by  HADOOP_HOME. Using value of HADOOP_PREFIX.

También, tengo que ejecutar hadoop en usuario root como hadoop no es capaz de acceder a servicio ssh con otro usuario.

Cómo solucionar el mismo?

  • Por favor, edita tu pregunta para aclarar cómo la has instalado Hadoop. Estás leyendo la documentación oficial?
  • abajo está el enlace estoy siguiendo a instalar hadoop.
  • dzone.com/articles/getting-hadoop-and-running
  • Que el artículo 4 años de edad, por lo que no Hadoop 3. Todas las secuencias de comandos de inicio ha cambiado
InformationsquelleAutor Sujata Roy | 2018-01-06

4 Comentarios

  1. 15

    solo hacer lo que se le pide que:

    export HDFS_NAMENODE_USER="root"
    export HDFS_DATANODE_USER="root"
    export HDFS_SECONDARYNAMENODE_USER="root"
    export YARN_RESOURCEMANAGER_USER="root"
    export YARN_NODEMANAGER_USER="root"
    
    • Se está trabajando. Pero cada vez que se cierra el terminal me estoy perdiendo los valores.. he tenido que volver a ejecutar todo el comando exportar todo de nuevo
    • Agregar todos estos comandos en hadoop-env.sh y usted será bueno para ir!
  2. 5

    La causa raíz de este problema,

    1. hadoop para instalar diferentes de usuario y de inicio de hilados de servicio de usuario diferentes.
      O
    2. en hadoop configuración hadoop-env.sh especifica HDFS_NAMENODE_USER y HDFS_DATANODE_USER de usuario es algo más.

    Por lo tanto tenemos que corregir y hacer que sea coherente en todo lugar. Por lo que una simple solución de este problema es la de editar su hadoop-env.sh archivo y agregar el nombre de usuario para el que desea iniciar el hilo servicio. Así que adelante y editar $HADOOP_HOME/etc/hadoop/hadoop-env.sh, añadiendo las siguientes líneas

    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root
    export YARN_RESOURCEMANAGER_USER=root
    export YARN_NODEMANAGER_USER=root
    

    Ahora guardar e iniciar el hilo, hdfs servicio y comprobar que funciona.

    • asegúrese de que el servicio ssh debe en marcha y la datanode y namenode debe ser de acceso sin contraseña. usted puede verificar por ssh direcciones ip/nombre de host
    • ¿Cómo puedo hacer datanodes y namenodes accesibles sin necesidad de contraseña
  3. 3

    Basado en el de la primera advertencia, HADOOP_PREFIX, parece que usted no ha definido HADOOP_HOME correctamente.

    Esto se llevaría a cabo en su /etc/profile.d.

    hadoop-env.sh es donde el resto de las variables están definidas.

    Por favor refiérase a la Shell de UNIX Guía

    hadoop no es capaz de acceder a servicio ssh con otro usuario

    Esto no tiene nada que ver con Hadoop en sí. Es básico SSH administración de la cuenta. Usted necesita

    1. Hacer la hadoop (y otros, como el hilo de cuentas en todas las máquinas del cluster (ver adduser documentación de comando)
    2. Copiar un SSH sin contraseña clave con ssh-copy-id [email protected], por ejemplo

    Si usted no necesita distribuidos de modo y sólo desea utilizar Hadoop localmente, se puede utilizar un Mini Cluster.

    La documentación también se recomienda hacer un único nodo de la instalación antes de continuar con el pseudo distribuido

  4. 0

    Vim ${HADOOP_HOME}sbin/start-dfs.sh & ${HADOOP_HOME}sbin/stop-dfs.sh, a continuación, añadir:

    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs 
    HDFS_NAMENODE_USER=root 
    HDFS_SECONDARYNAMENODE_USER=root 
    
    • No agregue la misma respuesta que ya está presente. Si usted tiene alguna otra manera de solucionar el problema, que son bienvenidos a contribuir
    • Por favor, mira con atención !!! @AnuraagBaishya Obtener más de ti mismo.

Dejar respuesta

Please enter your comment!
Please enter your name here