He construido una Chispa dataframe de una consulta. Lo que quiero hacer es imprimir el dataframe a un archivo de texto con toda la información delimitado por ‘|’, como los siguientes:

+-------+----+----+----+
|Summary|col1|col2|col3|
+-------+----+----+----+
|row1   |1   |14  |17  |
|row2   |3   |12  |2343|
+-------+----+----+----+

¿Cómo puedo hacer esto?

OriginalEl autor Brian Waters | 2017-01-26

2 Comentarios

  1. 7

    Usted puede intentar escribir a csv elección de un delimitador de |

    df.write.option("sep","|").option("header","true").csv(filename)

    Este no sería el 100% de la misma, pero estaría cerca.

    Alternativamente, usted puede recoger para el conductor y hacerlo a ti mismo por ejemplo:

    myprint(df.collect())

    o

    myprint(df.take(100))

    df.recoger y df.tomar devolver una lista de filas.

    Por último se puede recoger al conductor mediante topandas y el uso de los pandas herramientas

    OriginalEl autor Assaf Mendelson

  2. 4

    En Spark 2.0+, puede utilizar incorporada CSV escritor. Aquí delimiter es , por defecto y puedes configurarlo para |

    df.write \
        .format('csv') \
        .options(delimiter='|') \
        .save('target/location')

    OriginalEl autor mrsrinivas

Dejar respuesta

Please enter your comment!
Please enter your name here