datascienceresearchperu / covid-19_latinoamerica Goto Github PK

We're going to change titles of our daily report file from
ISO 3166-2 Code,Province/State,Country/Region,Last Update,Confirmed,Deaths,Recovered
to
ISO 3166-2 Code,Country,Subdivision,Last Update,Confirmed,Deaths,Recovered
Also, if someome was using ordered row to run scripts whe're going to re-order all rows.
Criteria is:

• Order A-Z per Country
• Order A-Z per Subdivision

Please take care

¿How to deal with this?

Actualmente no existen guías rápidas para los que contribuyen al proyecto y los que recién se van anexando.

Falta:

1. Videos explicativos.
2. Guías y plantillas para Github
3. Actualización de archivos README's dentro de cada carpeta
4. Otras ideas que puedan surgir para simplificar la contribución.
5. Soporte para otros idiomas

Parte de #52
http://www.bvs.hn/COVID-19/

En ese sitio hay un dashdoard con el historial de casos confirmados por departamento.
También, hasta el fallecimiento número 15, se encuentra detallado con fecha y ciudad. Desde el fallecimiento 16 solo se detalla el departamento y no la fecha, aunque no debería ser difícil ponerse al día con alguna otra fuente.

Luego de estar al día con la data, correspondería scrappear la primera tabla de la pagina diariamente.

Describe the data error
Por ejemplo, BR-ES esta en cero. No debería ser así.

Where's the error?

Describe the solution you'd like
Revisar los datos de Brasil, porque hubo varios commits que arrasaron con todo.

Additional context

Describe the bug
Creo que en ánimos de mantener mejor la información del repositorio, conviene separar los datos que se plantean agregar (variables económicas e infraestructura hospitalaria) y moverlos a un repositorio adicional, dejando este exclusivamente para datos sobre los casos de COVID-19 y agregando un enlace para quienes deseen consultar la información adicional.

#52

guberney/Covid_Colombia#1

Modificacion estructura DB:
deberia agregarse pruebas realizadas como columma?

La finalidad:
saber cuantas personas fueron a realizarse la prueba sin embargo no dieron positivos

Al principio fue covid-19_pe debido a que se pensaba a hacer solo para Perú pero ahora que abarca a toda latinoamérica, ¿qué nombre debería tener? @ivanMSC @rendergraf

Is your feature request related to a problem? Please describe.
El Ministerio de Salud de Chile es tan inoperante, que solo entrega cifras de los casos recuperados a nivel nacional y no desagregado por Región (subdivisión administrativa). Tengo los datos día a día del número de recuperados, pero no tengo donde escribirlos en los reportes diarios.

Describe the solution you'd like
Agregar una subdivisión administrativa NULL para Chile. O algo como CL-NULL, Sin informacion

Describe alternatives you've considered
Alternativamente pensé en agregarlos con la Región de Santiago (Capital). Pero esto sería deshonesto.

Additional context
Gobierno de mierda.

We need to add 3 countries and 7 dependencies.

Countries:

• Guatemala (GT)
• Haiti (HT)
• Cuba (CU)

Dependencies:

• French Guiana (GF)
• Guadeloupe (GP)
• Martinique (MQ)
• Puerto Rico (PR)
• Saint Martin (MF)
• Saint Barthélemy (BL)
• Saint Pierre and Miquelon (PM)

También podemos agregar (resto de países de América):

• Antigua y Barbuda
• Bahamas
• Barbados
• Belice
• Canadá
• Dominica
• Estados Unidos
• Granada
• Guyana
• Jamaica
• San Cristóbal y Nieves
• San Vicente y las Granadinas
• Santa Lucía
• Surinam
• Trinidad y Tobago

[Last Update: 2020-03-04T16:29:02]
Describe the data error
First of all, thanks of all contributors.
After @ivanMSC helped us with the elaboration of the map we can easily see the absence of data. I will label the maintainers corresponding to each country so that they can review and in case of errors correct the information.

Where's the error?
Error founded per country (For confirmed cases only)

• Argentinta (ALL OK):

• Bolivia (@mamanipatricia): ALL FIXED (2020-03-04), commits below

• Brazil (All OK):

• Chile (All OK)

• Honduras (Automated ALL OK)

• Mexico (@carranco-sga ALL OK)

• Costa Rica (Automated, external API provided in progress to validate information, waiting)

• Dominican Republic (Automatic @ZurMaD ):
  

• El Salvador (unmaintained)

• Nicaragua (unmaintained)

• Panama (unmaintained)

• Paraguay (unmaintained)

• Uruguay (unmaintained)

• Colombia (Automated @dfuribez ):
  

  • 2020-03-23.csv
  • 2020-03-22.csv

(All CO-X codes, looks like general error this day)

• Ecuador (@pablora19 ):
  

  • No data for 2020-03-03 to 2020-03-12.csv. Daily report directory

• Peru (@ZurMaD @diegocl02 ):
  

  • 2020-03-16.csv Temporaly duplicated day 29
  • 2020-03-17.csv
  • 2020-03-18.csv
  • 2020-03-10.csv

• Venezuela (@rendergraf ):
  

• Multiple data not founded, we're going to call help to support Venezuela's report.

Additional information
Don't forget to update the date the data is updated in this file.

Are you a newer contribuitor?
No

How can you help us with tasks?
Anything related to scripting, parsing, backend (API), automating or visualizing. I have a decent knowledge of Python for this things and open to contribute in anything else you need.

My initial idea is to create an awesome dashboard with Dash.

PS: Awesome work you have done guys, really.

Estimado @carranco-sga , estamos automatizando todo el proceso de extraer data, al subir la información lo estás haciendo de forma manual o ya que tu país liberó los datos los podríamos extraer directamente con scripts. Quisiera saber cómo es el flujo de datos.

Gracias.

Hola, he creado el canal de Slack covid19latinoamerica.slack.com para los colaboradores del grupo.
Aqui les dejo el link para que puedan subscribirse.
https://join.slack.com/t/covid19latinoamerica/shared_invite/zt-d99sp09d-mcwZ3AmFI_kmj~kYryg74w

Parte de #52
Encontré este repositorio de Brazil que lo actualizan diario.

¿Hay alguna forma de automatizar esto?

Describe the bug
Se encontró una incosistencia en el archivo 2020-03-29.csv, porfavor @martingra podrías revisar este commit que se realizó para que Bolivia pueda subir su información ce86552#diff-5760954246cbe4ad92bffaf88a4afd72
Hay una fila sobrante que se subió

Expected behavior
Revisar y confirmar los números, finalmente cerrar este Issue.

Sugiero eliminar las columnas Latitude y Longitude. En su lugar, crear un archivo nuevo, por ejemplo Georeferencing.csv con los campos: Province/State, Country/Region, Latitude, Longitude, etc con información relativa a cada subdivisión administrativa.
De esta forma evitamos repetir información innecesariamente, resultando en una base de datos más robusta.

[Don't answer this thread]

Agregaremos Test realizados como columnas.

¿Deberíamos separar entre moleculares y rápidas?

Hola, si cambiamos la columna Province/State por Subdivision y Country/Region por solo Country en los reportes diarios, además cambiar el orden actual de ISO 3166-2 Code,Province/State,Country/Region por ISO 3166-2 Code,Country,Subdivision cuántas cosas tendríamos que cambiar, me parece necesario.

Se agregó formatos para los formatos de creación de Issues:
.github/ISSUE_TEMPLATE

Se pueden agregar más como los siguientes:
bug_report.md
feature_request.md

Se requiere dar un formato adecuado y preveer la llegada de más usuarios. Para poder dar un correcto soporte al repositorio.

Las regiones de Los Rios y Los Lagos están duplicadas en los reportes diarios.

Is your feature request related to a problem? Please describe.
Se hace necesario crear un API para facilitar su uso en aplicaciones tanto móviles como para web.

Describe the solution you'd like
Crear un servidor API y compartirlo aquí.

Additional context
Fue requerido por programadores web.

Are you a newer contribuitor?
Yes/No question just to know how to answer.

How can you help us with tasks?
Explain what do you want to contribute. We really appreciate your initiative.

Is your feature request related to a problem? Please describe.
Falta un canal en el que podamos comunicarnos de forma directa y comunicar los cambios que se realizan de forma centralizada.

Describe the solution you'd like
Un servidor en:

• Discord
• Slack
• Whatsapp
• Otro: (Propuestas)

Describe alternatives you've considered
Uso cualquier medio, en mi caso no tendría inconvenientes.

Las Dependencias Federales de Venezuela geográficamente se ubican como se muestra en la imagen

Pero el ISO 3166-2:VE los considera las 11 islas como 1 departamentos/estado/región, Cómo los contamos ? Ya que si lo separamos en cada dependencia el ISO no lo ha normado.

Describe the bug
Algunas coordenadas de Perú están invertidas

Code and Logs and screenshots

Estandarizar las peticiones al API no con nombre del país, por ejemplo Perú sino usar su código ISO PE.

• Crear endpoint con data de latitud longitud de cada subdivisión.

Estaba usando Excel para editar el csv. Cuando hago un cambio en una línea del archivo y guardo, el diff me arroja cambios en todas las lineas del archivo. A qué se debe?

We're currently creating the script to generate that kind of files.

#52

We're going to scrap dashboards
I'm working on it.
Part of #52

Describe the bug
@josetup123 9474437 and a04547c
Please, fix Panama data. It must be consistent with top level administrative divisions. Follow the template. Do NOT touch, modify, add or delete ISO codes or names.

Expected behavior
Panama has the following divisions:

PA-1,Bocas del Toro,Panama,,,,
PA-4,Chiriqui,Panama,,,,
PA-2,Cocle,Panama,,,,
PA-3,Colon,Panama,,,,
PA-5,Darien,Panama,,,,
PA-6,Herrera,Panama,,,,
PA-7,Los Santos,Panama,,,,
PA-8,Panama,Panama,,,,
PA-10,Panama Oeste,Panama,,,,
PA-9,Veraguas,Panama,,,,
PA-EM,Embera,Panama,,,,
PA-KY,Guna Yala,Panama,,,,
PA-NB,Ngabe-Bugle,Panama,,,,

Files with the bug

Additional context
It is important to be consistent. Please only modify data and not names, ISO codes or any other columns of the template.

.

Hola, quisiera saber si aun se puede contribuir con la recopilación de información sobre países faltantes?

Saludos.

Por favor, a los encargados de cada país, no olvidar este archivo.

Gracias.

#52 dejo el enlace al repositorio que tiene enlace API para poder actualizar la data diaria de forma automática

https://github.com/correaleyval/covid19cuba_api

Describe the bug
Is there any agreed consensus in the way missing data should be handled?

Commit a1a60bd by @dfuribez has changed some of the missing data I maintain to zeros; however, since March 23, Mexico's data reports don't include specifics on the number of recovered people, hence why I report it as missing.

Expected behavior
Missing data should be dealt with consistently for any one country and the database as a whole so it is more useful.
The changes made in the commit are just a fraction of the required ones to have consistency in Mexico's data.
I will gladly make the changes to the data under my responsibility, to maintain reporting style if there is a consensus in the way missing data should be handled.

However, I think zero has a very precise definition: nothing. Treating data that is not available (missing, but not necessarily equal to zero) as zero, confuses me.
And well, putting personal biases aside, it's much easier to "complete" the data replacing missing with zeros than vice-versa. A simple line of regex magic does the trick in these cases.

Files with the bug
Refer to a1a60bd.

Pinging contributors: @ZurMaD @rafnixg @RcrdPhysics @pablora19 @martingra @mamanipatricia @leytzher @josetup123 @ivanMSC @diegocl02 @dfuribez @ariasbordahugo @pablorea @rendergraf @Caospierre

0.0 instead of 0 for any number in python script

We need branches for:

• API (with clean data)
• master (for all commits)
• others (please suggest)

Hay un salto de línea:

"DO-01
",Santo Domingo,Dominican Republic,,,,,

In process...

Is your feature request related to a problem? Please describe.
We need a map.

Santiago del Estero ausente en normado ISO 3166-2

Como comentaba en el Slack:

• sería de mucha ayuda que los scripts de cada pais pertenezcan a la repo corrspondiente
• tener una carpeta llamada templates para poner todos los templates de csv's que se tienen en latam_covid_19_data
• en latam_covid_19_data unicamente tener los daily reports y per country reports
• el archivo timeseries propongo que se ponga en la raiz de la repo para accesibilidad y prioridad. Ahi estará toda la información condensada.
• mover información no correspondiente a casos del covid a una nueva repo y añadir un link a ella para alguna investigación que se quiera (como lo propuso #11 )

En la búsqueda de la lista de centros de salud, que en algunos países es de acceso público, se han encontrado nula información en algunos países (detallado en el enlace anterior) y se optaría por encontrar dicha información mediante otros métodos.

We need scripts to automate (Scripts go to this folder):

• Reports of absense of data (blank spaces in 2020-0X-XX.csv - Daily report folder).
• API information obtain and update to our repository (Reply to #50 )
• Automation ( #53 #55 #56 #57 )
• Dashboards (ivanMSC is actually doing a good work here)
• Confirm our numbers with other repositories that has the numbers grouped per country.
• Others (Feel free to propose)

Please create new Issue of each script to automate to be well documented.
Thanks all contributors! Please call more volunteers :)

All data for México seems wrong in files 2020-04-16.csv, 2020-04-17.csv and 2020-04-18.csv
A typical row reads

MX-AGU,Mexico,Aguascalientes,,0,0,0

The date is missing and there are zeroes for all entries. Yesterday some data was 'missing' but not '0'.

En este artículo de Wikipedia está el numero de casos por fecha y por departamento.
https://en.wikipedia.org/wiki/2020_coronavirus_pandemic_in_Paraguay

Si alguien quiere encargarse de automatizarlo

Los numeros de muertos o recuperados no están detallados por departamento.

Parte de #52