Cómo crear una nueva columna en PySpark y llenar esta columna con la fecha de hoy?

Esto es lo que he intentado:

import datetime
now = datetime.datetime.now()
df = df.withColumn("date", str(now)[:10])

Me sale este error:

AssertionError: col debe ser la Columna

InformationsquelleAutor Markus | 2017-12-20

1 Comentario

  1. 20

    Cómo crear una nueva columna en PySpark y llenar esta columna con la fecha de hoy?

    Ya hay función para la que:

    from pyspark.sql.functions import current_date
    
    df.withColumn("date", current_date().cast("string"))

    AssertionError: col debe ser la Columna

    Uso literal

    from pyspark.sql.functions import lit
    
    df.withColumn("date", lit(str(now)[:10]))
    • Se entiende por qué el primer ejemplo no funcionaba, pero no entendía por qué el segundo (el de encendido) obras.
    • Porque lit devuelve Column

Dejar respuesta

Please enter your comment!
Please enter your name here