javi-aranda / malaga-parking-data Goto Github PK

Desde principios de enero los datos vienen dados por un CSV de información reducida, aludiendo a un catálogo externo con los datos genéricos de localización y contacto de los distintos aparcamientos.

Esto obliga a reformular la estructura del los CSV del repositorio (tanto obtenidos periódicamente como calculados diariamente), adoptando el nuevo formato y posiblemente adaptando la información ya existente.

Hay varios ficheros que o bien contienen un HTML indicando un error 403 o bien están vacíos. Estos ficheros solo pueden inducir a potenciales problemas durante el procesado en lote por lo que es necesario crear un workflow programado para eliminarlos.

https://github.blog/changelog/2022-10-11-github-actions-deprecating-save-state-and-set-output-commands/

https://github.com/javi-aranda/malaga-parking-data/actions/runs/5914522818/job/16039927918

Una estructura apropiada sería:

/data
    /{year}
        /{month}
            /{day}
                {files}

Todos los del directorio 2022/05/23 y de 2022/05/24 hasta parking-data-09_42.csv (no incluido).

Los datos abiertos de Málaga tienen licencia Creative Commons Atribución/Reconocimiento 4.0 Licencia Pública Internacional — CC BY 4.0

Se podría mantener una copia del fichero descargado llamado latest.csv en la raíz del proyecto para tenerlo siempre disponible

Es muy útil conocer la hora en la que se alcanza un máximo o un mínimo de ocupación. Este dato se puede extraer del nombre del fichero.

Cambiar Auto Commit por https://github.com/EndBug/add-and-commit

Si se cambia la asignación de variables y se establece la fecha de ayer, nos aseguramos de que todos los datos correspondientes a dicha fecha ya han sido cargados

• Exportar como variable ${{ github.workspace }}/${{ steps.dir.outputs.dir }}.
• Exportar los autocommits a otro workflow con los parámetros para evitar duplicidad.

No es necesario comprobar que la extensión sea .csv si se comprueba que el nombre empieza por parking-data