Creación de API about covid-19_latinoamerica HOT 21 CLOSED

Yo puedo ayudar en esto.

from covid-19_latinoamerica.

He cargado todos los "dailyReports" en Mongo Atlas. Voy a ver como puedo darles acceso y empezar a crear el API.

from covid-19_latinoamerica.

Yo tambien puedo apoyar con esto, tengo background en Python @leytzher en que tienes pensado hacer la API.

from covid-19_latinoamerica.

@rafnixg, la tengo en Node.js (Express). Lee la info desde una base de datos de MongoDB.
Si quieres la podemos cambiar a Flask en Python si no tienes experiencia con Node.

from covid-19_latinoamerica.

const express = require('express');
const cors = require('cors');
const monk = require('monk');
const rateLimit = require('express-rate-limit');
const app = express();
const db = monk(process.env.MONGO_URI);

app.use(cors());
app.use(express.json());

const dailyData = db.get('dailyData');

app.get('/', (req,res,next)=>{
    dailyData.find()
    .then(d=>{
        res.json(d)
    })
});



app.listen(5000,()=>{
    console.log("App listening in port 5000")
})

from covid-19_latinoamerica.

Esto es lo que tengo hasta ahora, te da todos los datos de la base de datos. Faltaria agregar endpoints para hacer GET requests por pais, fecha, departamento, etc.
No es muy dificil.

from covid-19_latinoamerica.

@leytzher Si podemos usar Flask por mi mejor, mi experiencia con Node no es mucha y lo use hace unos 3 años. si no tienes problema de migrar me comentas y me dices en que te ayudo.

from covid-19_latinoamerica.

ok, cambiemos a Flask. Seria bueno si pudieses crear un repo para empezar. Yo por mi lado estoy tratando de dar acceso a la base de datos asi la podemos llamar desde Python.
La otra opcion (si no queremos usar Mongo) seria leer directamente los csv files desde Pandas. Tal vez esta opcion sea mas simple asi no tenemos que preocuparnos de actualizar la base de datos todos los dias.
He puesto un script de Python para combinar todos los csv's en uno solo. A lo mejor lo podemos re-utilizar para esto.
https://github.com/DataScienceResearchPeru/covid-19_latinoamerica/tree/master/utils/scripts

from covid-19_latinoamerica.

@leytzher Perfecto, cambiemos a Flask, me gusta la idea de leer directo del CSV con pandas y usar tu script para combinar los csv, voy a crear el repo y te lo comparto. yo tengo tiempo disponible desde las 6:30pm.

from covid-19_latinoamerica.

Bien, yo me voy a dormir ahora, por aca son las 10:45pm
Hablamos mañana. Muchas gracias por la ayuda.

from covid-19_latinoamerica.

@leytzher perfecto, en lo que cree el repo te agrego y mañana lo revisas. saludos.

from covid-19_latinoamerica.

@ZurMaD @leytzher Por aca les dejo el repositorio git que estoy usando para el desarrollo de la API
Por los momento solo contiene una estructura base de la API en Flask, y un ETL que estrae la data desde este repositorio y crea un solo archivo data.csv.}

https://github.com/rafnixg/covid-19_latinoamerica_api

from covid-19_latinoamerica.

@rafnixg, @ZurMaD, he actualizado un poco el API y ahora podemos cargar los csv automaticamente. Sugiero lo pongamos online. Puede ser usando Firebase que es gratis.
Ademas debemos crear mas end points.
El API esta aca https://github.com/rafnixg/covid-19_latinoamerica_api

from covid-19_latinoamerica.

Genial, ¿@leytzher qué necesitariamos para ponerlo online aparte de Firebase?

from covid-19_latinoamerica.

No mucho, solo ponerlo online. Podriamos crear mas endpoints para que la gente que use el API pueda obtener la data por fecha, obtener los totales por pais, etc, etc.
Esto es facil de implementar.
Por ahora voy a subir esta version a la web y si funciona bien iremos creando los demas endpoints.

from covid-19_latinoamerica.

@rafnixg , @ZurMaD
He puesto el API online. Pueden acceder aqui:
https://covid19latam.herokuapp.com/

Hasta ahora hay 2 endpoints:

• https://covid19latam.herokuapp.com/data : Retorna toda la informacion de los csv files
• https://covid19latam.herokuapp.com/pais/peru. : Retorna la informacion por pais. En este caso Peru.

Ahora hay que trabajar en mas end points

from covid-19_latinoamerica.

Mirando los resultados del API tenemos un monton de NaN's y 404's
Hay que ver que esta pasando con la data. Tenemos muchas filas sin valores en los csv's?

from covid-19_latinoamerica.

Mirando los resultados del API tenemos un monton de NaN's y 404's
Hay que ver que esta pasando con la data. Tenemos muchas filas sin valores en los csv's?

Sí, todavía contamos con muchos datos vacíos, lo de los 404 no he visto, podrías comentarme dónde se encuentran.
Sí, hay muchas filas sin valores, más ahora que en #40 se agregó 3 países y 7 dependencias

from covid-19_latinoamerica.

@ZurMaD gracias por chequear tan rapido.
El 404 viene de la consolidacion de las tablas. Es algo que tenemos que arreglar en el codigo. Nada para preocuparse.

from covid-19_latinoamerica.

Ya en el repositorio se agregaron los cambios al ETL para la normalización de la data.
@leytzher @ZurMaD Ya hice deploy de los cambios y todo OK

saludos.

from covid-19_latinoamerica.

@rafnixg Excelente! Muchas gracias

from covid-19_latinoamerica.