micb25 / rki_covid19_data Goto Github PK

your 2022-03-02 dataset is faulty. (maybe uncomplete or not fully upgraded)
you should replace this with https://github.com/HrRodan/RKI_COVID19_DATA/blob/master/RKI_COVID19_2022-03-02.csv.xz

Erst mal vielen Dank für die Zusammenstellung der RKI-Daten!

Gestern hat das RKI leider zunächst eine fehlerhafte Datei veröffentlich, die später korrigiert wurde. Anscheinend waren die Daten doppelt, erkennbar auch an der Dateigröße.

Im Repository ist leider noch die falsche Datei. Die korrekte Version kann ich ggf. zur Verfügung stellen.

Gestern (14.03.2021) standen die RKI-Daten leider erst sehr spät zur Verfügung. Die Datei im Repository enthält daher noch die Daten vom Vortag (13.03.).

Die korrekte Datei kann ich bei Bedarf zur Verfügung stellen.

Mich würden Sättigungskurven für Pflegeheimbewohner pro Bundesland interessieren. Dürften doch relativ einfach zu integrieren sein.
Eine Quelle für den Bezugspunkt 100% pro Bundesland kann ich leider nicht liefern.

Vielleicht lässt sich diese ja noch ergänzen? In https://github.com/CharlesStr/CSV-Dateien-mit-Covid-19-Infektionen-/blob/master/Juni2021/RKI_COVID19_2021-06-13.zip ist sie vorhanden, aber mglw. nachbearbeitet oder in abweichendem Format.

Hallo Michael,

danke für die tolle Zusammenstellung der Daten! Das ist eine super Grundlage für Analysen.

Ich hätte noch einen Vorschlag für zwei meiner Meinung nach wichtige Datenquellen:

Übersicht über die Intensivbetten:
https://www.intensivregister.de/#/aktuelle-lage/reports

Übersicht über die durchgeführten Tests:
https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Testzahl.html

Mit den drei Informationen (Erkrankte, Anzahl Tests und freie/belegte Intensivbetten) kann man sich ein deutlich differenzierteres Bild der aktuellen Situation machen.

Hi there - first of all, great job you are doing in storing the data from RKI!

I am using your stored data as historical data in my repo to nowcast the number of infections. Recently the script had some issues and I traced it back to the data of the 17th of Jan 2021, it appears to be the same as that of the 16th of Jan. The data of the 17th in this [repository[(https://github.com/CharlesStr/CSV-Dateien-mit-Covid-19-Infektionen-/tree/master/Dezember) however appears different.

Could you address this issue?

Danke für die umfangreiche Sammlung der RKI-Daten! Natürlich unterscheiden sie sich hin und wieder in Details – Grüße gehen an dieser Stelle raus an alle BOMs, CRLFs und dann doch mal irgendwo hineingemogelte UNIX-Timestamps! Insgesamt aber Dinge, die sich irgendwie noch gut händeln lassen, sodass ich immer gemeint hätte, dass das Vorhalten der Original-Dokumente im Repo wichtiger ist als die Mehrarbeit in der programmseitigen Behandlung.

Einzig bei der Datei für den 11.04.2020 tendiere ich zu einer anderen Sicht. Die ist einfach in zu vielen Aspekten "kaputt". Einmal der Vergleich zum vorigen und nächsten Tag:

> head -n3 RKI_COVID19_2020-04-{10,11,12}.csv
==> RKI_COVID19_2020-04-10.csv <==
IdBundesland,Bundesland,Landkreis,Altersgruppe,Geschlecht,AnzahlFall,AnzahlTodesfall,FID,Meldedatum,IdLandkreis,Datenstand,NeuerFall,NeuerTodesfall,Refdatum,NeuGenesen,AnzahlGenesen
1,Schleswig-Holstein,LK Pinneberg,A60-A79,W,1,0,1584304,2020-03-30,01056,2020-04-10,0,-9,2020-03-30,0,1
1,Schleswig-Holstein,LK Pinneberg,A60-A79,W,1,0,1584305,2020-03-31,01056,2020-04-10,0,-9,2020-03-29,-9,0

==> RKI_COVID19_2020-04-11.csv <==
"ID","IdBundesland","Bundesland","Landkreis","Altersgruppe","Geschlecht","AnzahlFall","AnzahlTodesfall","ObjectId","Meldedatum","IdLandkreis","Datenstand","NeuerFall","NeuerTodesfall","Refdatum","NeuGenesen","AnzahlGenesen"
1,1.00,"Schleswig-Holstein","SK Neum├╝nster","A15-A34","M",1.00,0.00,1668016.00,05/04/2020,1004.00,11/04/2020,0.00,-9.00,05/04/2020,-9.00,0.00
2,1.00,"Schleswig-Holstein","SK Neum├╝nster","A15-A34","M",1.00,0.00,1668017.00,09/04/2020,1004.00,11/04/2020,0.00,-9.00,09/04/2020,-9.00,0.00

==> RKI_COVID19_2020-04-12.csv <==
IdBundesland,Bundesland,Landkreis,Altersgruppe,Geschlecht,AnzahlFall,AnzahlTodesfall,FID,Meldedatum,Landkreis ID,Datenstand,Neuer Fall,Neuer Todesfall,Referenzdatum,Neu Genesen,Anzahl Genesen
1,Schleswig-Holstein,SK Flensburg,A15-A34,M,1,0,1754998,3/14/2020,01001,04/12/2020,0,-9,3/16/2020,-9,0
1,Schleswig-Holstein,SK Flensburg,A15-A34,M,1,0,1754999,3/19/2020,01001,04/12/2020,0,-9,3/13/2020,0,1

Die Probleme sind also:

• Irgendwas hakt am Encoding (SK Neum├╝nster)
• Das Datum folgt dem deutschen Format DD/MM/YYYY.
• Die Zahlen sind werden als Fließkommaangaben ausgegeben.
• Die Datei nutzt CRLF.

Allesamt Dinge, die wir auch programmseitig behandeln könnten und zum Teil an anderer Stelle auch schon machen. Hier kommen nur so viele Sachen zusammen, dass ich vorschlagen würde, einfach eine korrigierte Fassung im Repo zu behalten.

Daily updates failes since 22-09-26 with System.IO.IOException: No space left on device

Beim Vergleich einiger Dateien mit denen, die im Projekt unter https://covid19-de-stats.sourceforge.io/ ("covid19-de-stats") archiviert werden, habe ich festgestellt, dass zwei Dateien hier fehlerhaft sind und zwei Dateien nicht der nachträglich bei Esri aktualisierten Version entsprechen.

Fehlerhaft sind:

• RKI_COVID19_2020-10-28.csv
  Speziell die Angabe vom Meldedatum hat nicht das übliche Format.
  Die Datei von covid19-de-stats ist abrufbar unter https://covid19-de-stats.sourceforge.io/ForGithub/RKI_COVID19_2020-10-28.csv.gz

• RKI_COVID19_2021-09-09.csv
  Die Datei ist vom Vortrag (s. Meldedatum).
  Die Datei von covid19-de-stats ist abrufbar unter https://covid19-de-stats.sourceforge.io/ForGithub/RKI_COVID19_2021-09-09.csv.gz

Nicht der nachträglich aktualisierten Version entsprechen:

• RKI_COVID19_2021-02-01.csv
  Die Datei von covid19-de-stats ist abrufbar unter https://covid19-de-stats.sourceforge.io/ForGithub/RKI_COVID19_2021-02-01.csv.gz

• RKI_COVID19_2021-08-03.csv
  Die Datei von covid19-de-stats ist abrufbar unter https://covid19-de-stats.sourceforge.io/ForGithub/RKI_COVID19_2021-08-03.csv.gz

Ich habe aber nur einzelne Dateien verglichen, von denen ich wusste, dass es bei deren Bereitstellung bei Esri Probleme gab. Um einen umfassenden Vergleich durchzuführen, wäre folgendes zu tun:

1. Das Script compare-hashes.sh unter https://covid19-de-stats.sourceforge.io/ForGithub/compare-hashes.sh und die Datei rki-hashes-compare.txt unter https://covid19-de-stats.sourceforge.io/ForGithub/rki-hashes-compare.txt abrufen und im Verzeichnis mit den RKI-Dateien speichern.
2. In das Verzeichnis mit den Dateien wechseln und das Script ausführen. Dabei werden die Namen aller Dateien ausgegeben, deren lokaler Inhalt sich von dem der im Projekt covid19-de-stats archivierten Dateien unterscheidet (dazu werden die Werte von md5sum verglichen).
3. Gegebenenfalls die beiden heruntergeladenen Dateien wieder löschen.

Bei Unterschieden kann ich die entsprechenden Dateien vom Projekt covid19-de-stats zur Verfügung stellen.

Es kann jedoch durchaus sein, dass auch Dateien, die im Projekt covid19-de-stats archiviert wurden, nach deren Abruf auf der Seite von Esri noch aktualisiert wurden.

In order to keep the file sizes and the overall repository size as small as possible, the maximum compression (gzip -9) should be used instead of the default level of 6.