Quería cambiar de Hadoop 1.2.1 para Hadoop 2.2. En mi proyecto estoy usando Maven y puede manejar

  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.2.1</version>
</dependency>

woithout ningún tipo de problemas, sin embargo el cambio de la versión 2.2 no está funcionando ya que no está disponible en la central de repositorio de maven.

Alguna idea de cómo puedo incluir Hadoop 2.2. en mi maven-ized proyecto?

InformationsquelleAutor Jakub | 2013-11-08

2 Comentarios

  1. 36

    La mayoría de hadoop-core dependencias se pueden encontrar en hadoop-cliente:

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.2.0</version>
    </dependency>
    • ¿Esto realmente funciona? Si lo intento me sale «Error al encontrar org.apache.hadoop:hadoop-principal:jar:2.2.0», que es de hecho la derecha, ya en hadoop principal es sólo un pom del proyecto.
    • Sí, estás en lo correcto. Hadoop principal es el padre pom único proyecto. Parece que la nueva recomendación es el uso de hadoop-cliente artefacto en lugar de hadoop-core. Actualizado.
    • Yo también estaba atascado con Hadoop 2 y maven. Así creado de trabajo en GitHub github.com/alexcpn/WordCountHadoop2. Esto también tiene el ejemplo de Hadoop de prueba de JUnit utilizando MRUnit y su maven de la dependencia. Todos de origen básicamente de conteo de palabras ejemplo y prueba de unidad ejemplo
    • Cuál sería el mejor artefacto para reemplazar hadoop-core para 2.2.0? Sería hadoop-cliente o hadoop-común?
    • He probado esta solución y no está funcionando para mí. Parece como hadoop-core es reemplazado por algo más.
    • Gracias, solucionado mi problema.
    • No funciona para mí también, el proyecto muestra un signo de exclamación rojo cuando trato de insertar estas líneas en pom

  2. 11

    Para Hadoop 2.2.0, el correspondiente nombre del paquete debe ser como sigue (2014.05.27):

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.2.0</version>
    </dependency>

    referencia:

    http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common/2.2.0

    http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core/2.2.0

    http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs/2.2.0

    • La sustitución de Iones de Cojocaru respuesta por su respuesta hace que mi compilación de error con este mensaje : ClassNotFoundException: org.apache.hadoop.hdfs.DistributedFileSystem
    • He actualizado mi respuesta, y agregar hadoop-hdfs de apoyo.
    • esto funciona 😀 thx

Dejar respuesta

Please enter your comment!
Please enter your name here