Por el momento estoy ejecutando mi secuencias de comandos como la siguiente:

/usr/bin/pig /somepath/myscript.pig

y por alguna razón cerdo está siempre dando en esta etapa.

2014-01-28 16:49:31,328 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 0% complete

si puedo usar

`/usr/bin/pig -x local /somepath/myscript.pig`

se está quejando de los caminos por alguna razón:

Input(s):
Failed to read data from "file:///path_from_root_dir/tweets_extended_small.csv"

¿Cuál es la diferencia y cómo debo especificar la ruta de acceso en la -x local modo
de modo que yo pueda deshacerse de este error.

Mi tweets_extended_small.csv es en HDFS y me estoy refiriendo a que en la secuencia de comandos como que

... LOAD 'venues_extended_small.csv' USING ...

Gracias!

OriginalEl autor Anton Belev | 2014-01-28

3 Comentarios

  1. 6

    Cerdo, básicamente, tiene dos modos de ejecución

    1] Modo Local

    2] Reducir El Mapa En Modo

    Modo Local – Al ejecutar Cerdo en modo local, es necesario el acceso a una sola máquina; todos los archivos que se instalan y ejecutan utilizando su host local y el sistema de archivos local.

    Aquí *todos los archivos* significa que todos los archivos que usted va a hacer un proceso y todos los frascos o cualquier cosa que usted se está refiriendo/uso en el cerdo la secuencia de Comandos.

    Mapreduce Modo – Al ejecutar Cerdo en mapreduce modo, usted está tratando con clúster Hadoop y HDFS(Hadoop Distributed File System).

    En este caso *todos los archivos* se espera que en el HDFS.

    Así, mientras cerdo,

    cerdo -x local script_name.cerdo

    «-x» especifica el modo en que el script sea ejecutado.

    Así,en este caso el script_name.el cerdo tiene que ser bajo el sistema de archivos local.

    Mapreduce es el modo de defecto modo;
    Mientras se ejecuta cerdo secuencia de comandos que puede, pero no es necesario especificar con la opción-x bandera (de cerdo O de cerdo -x mapreduce).

    En su caso ,

    Mantener el archivo de secuencia de comandos y en su máquina local.
    Carga de archivo como ,

    …LOAD ‘/YOUR_PATH_TO_INPUT_CSV_FILE/venues_extended_small.csv’…

    y, a continuación, mueva la secuencia de comandos para el sistema de archivos local y, a continuación, ejecute la secuencia de comandos.

    cerdo -x local ‘/YOUR_PATH_TO_PIG_SCRIPT/script.cerdo’

    Este enlace puede ayudar en este caso.

    Esperanza de que esto podría haber ayudado a usted.
    Gracias.

    así que cuando tengo -x local, mi .cerdo script tiene que estar en la unidad de disco duro local, y ADEMÁS, los datos en el disco duro, si hago mapreduce la secuencia de comandos .el cerdo Y los datos necesitan ser hsdf. a la derecha?

    OriginalEl autor ashubhargave

  2. 1

    /usr/bin/pig -x local ejecuta el script de pig localmente en esa máquina en particular, en lugar de como un distribuida MapReduce trabajo en el clúster. -x es la opción para especificar el tipo de ejecución, (opciones son locales & mapReduce (por defecto)).

    Ya que el archivo es cargado en HDFS, no puede reconocer la ruta de acceso a HDFS en su máquina local cuando se especifica el local de tipo de ejecución.

    A partir de los datos proporcionados, no puedo entender por qué el comando /usr/bin/pig /somepath/myscript.pig se bloquea. Sugiero colocar el archivo csv en el local de la FS y trate de ejecutar la secuencia de comandos.

    OriginalEl autor Chaos

  3. 0

    Estos tres pasos que sugerimos:
    1.Escribir el guión y guárdelo como extensión. A veces estos pasos no funcionan. Haga clic en guardar como y declarar en citas
    2.Ahora déle a su ejecución con la ubicación del archivo como pig -local \home\training\Desktop\file_name.pig
    3. Entender el patrón en la tienda de comandos en el archivo.

    cuando se utiliza el mapa reducir asegúrese de que usted encuentre el listado de directorios.

    OriginalEl autor Chaitanya

Dejar respuesta

Please enter your comment!
Please enter your name here