tandilsec / hackathon-flisol2017 Goto Github PK

Hackathon FliSol Tandil 2017

Python 62.71% HTML 37.29%

tandil hackaton flisol2017 datos-abiertos flisol

hackathon-flisol2017's Introduction

Hackaton FliSol Tandil 2017

Cómo parte del FliSol Tandil 2017, se realizó un hackaton de datos abiertos. La temática que elegimos fue datos públicos de licitaciones y compras realizadas por el Municipio de Tandil.

En Mayo de 2017 se realizó un hackaton adicional donde continuamos con el trabajo arrancado en el FliSol Tandil 2017.

Objetivos

Los objetivos que se plantearon durante el hackaton fueron:

Poder extraer la información publicada por el Municipio de Tandil acerca de licitaciones y compras realizadas, de forma de disponerlas en un formato fácil de manipular para su posterior análisis. Se decidió que contar con la información en formato json o csv era suficiente en una primer instancia.
Analizar las relaciones entre los datos e identificar posibles visualizaciónes o agrupación de datos que permitan mejorar el entendimiento sobre las licitaciones y compras realizadas por el Municipio de Tandil.
Identificar oportunidades de mejora con respecto a la información publicada, su formato, relaciones, etc.
Aprender y compartir un rato colaborando en un proyecto conjunto.

Fuente de datos

Partimos de la información publicada en el sitio del Municipio de Tandil, bajo la sección Documentos de Interes - Compras y Suministros:

Scrapping

Durante el hackaton comenzamos a codear un scrapper en python para hacer la extracción de los datos.

Requerimientos

Las librerias necesarias se pueden instalar usando pip:

pip install -r requirements.txt

Es recomendado instalar las dependencias y correr el proyecto en un virtualenv para evitar conflictos con los paquetes python del sistema. Un tutorial se puede encontrar en el siguiente link.

Análisis

Adjudicatarios

Ideas

Cargamos ideas para mas visualizaciones y analisis del set de datos en los issues del repositorio.

hackathon-flisol2017's People

Contributors

Stargazers

Watchers

Forkers

almanuel augustol

hackathon-flisol2017's Issues

Implement dynamic cookie handling.

Para algunos POST requests se necesita de una cookie válida. Si bien ya está implementada y comentada la parte en la que se hace primero un request para obtener una cookie válida, en los casos de test no la tomaba como tal.

Capaz que ahora con sólo descomentarlo ya estaría andando, porque no tiene más ciencia que el código siguiente:
r = requests.get("%s%s" % (URL_REQ_A, URL_CONTEXT[self.context]), headers=HEADERS) self.cookie = r.headers['Set-Cookie'].split(';')[0],

Se hace un get clásico, donde se recibe el header Set-Cookie, y simulando a un navegador, para los próximos requests se utiliza en el header Cookie el valor obtenido en el primer request, no tiene mucha ciencia. Pero por algo no me las tomaba como válidas.

Por el momento se puede poner el valor manualmente y no hay problema. Incluso las cookies duran bastante.

Visualización de proveedores en un gráfico de burbujas

Visualizar los proveedores en un gráfico de burbujas. Ej. tamaño de acuerdo al costo total adjudicado, color de acuerdo a la cantidad.

https://bl.ocks.org/mbostock/4063269

por tipo: materiales, obras, equipamiento, etc.
por sector: vialidad, administración, vivienda, etc.