kokes / cedr-n3 Goto Github PK

diff --git a/.gitignore b/.gitignore
index ed6cf7e..3549076 100644
--- a/.gitignore
+++ b/.gitignore
@@ -1,3 +1,4 @@
 archive/*
 *.swp
-
+/csv
+/N3
diff --git a/extrahuj.csv b/extrahuj.csv
index 83c31fa..e7dbbca 100644
--- a/extrahuj.csv
+++ b/extrahuj.csv
@@ -1,5 +1,5 @@
 targz,soubor,chcem,cil
-data/Dotace.n3.tar.gz,./cedr/Dotace.n3,"zmenaSmlouvaIndikator, zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, smlouvaPodpisDatum, projektIdentifikator, projektNazev",csv/dotace.csv
-./data/PrijemcePomoci.n3.tar.gz,./cedr/PrijemcePomoci.n3,"zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, jeRegistrovanSPravniFormou, jePrislusnikStatu, obchodniJmeno, ico, jmeno, prijmeni, dic",csv/prijemce.csv
-./data/Rozhodnuti.n3.tar.gz,./cedr/Rozhodnuti.n3,"zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, rokRozhodnuti, navratnostIndikator, menaKod, investiceIndikator, financovanoZeZdroje, financniProstredekCleneni, dotaciPoskytl, castkaRozhodnuta",csv/rozhodnuti.csv
-./data/RozpoctoveObdobi.n3.tar.gz,./cedr/RozpoctoveObdobi.n3,"zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, rozpocetObdobi, refRozpoctoveObdobi, menaKod, castkaUvolnena, castkaCerpana, castkaSpotrebovana, dotaceTitul",csv/rozpoctove_obdobi.csv
\ No newline at end of file
+./N3/Dotace.n3,./N3/Dotace.n3,"zmenaSmlouvaIndikator, zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, smlouvaPodpisDatum, projektIdentifikator, projektNazev",csv/dotace.csv
+./N3/PrijemcePomoci.n3,./N3/PrijemcePomoci.n3,"zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, jeRegistrovanSPravniFormou, jePrislusnikStatu, obchodniJmeno, ico, jmeno, prijmeni, dic",csv/prijemce.csv
+./N3/Rozhodnuti.n3,./N3/Rozhodnuti.n3,"zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, rokRozhodnuti, navratnostIndikator, menaKod, investiceIndikator, financovanoZeZdroje, financniProstredekCleneni, dotaciPoskytl, castkaRozhodnuta",csv/rozhodnuti.csv
+./N3/RozpoctoveObdobi.n3,./N3/RozpoctoveObdobi.n3,"zaznamPlatnostDatum, zaznamIdentifikator, zaznamAktualizaceDatumCas, rozpocetObdobi, refRozpoctoveObdobi, menaKod, castkaUvolnena, castkaCerpana, castkaSpotrebovana, dotaceTitul",csv/rozpoctove_obdobi.csv
diff --git a/extrahuj.py b/extrahuj.py
old mode 100644
new mode 100755
index 83361a9..1250b75
--- a/extrahuj.py
+++ b/extrahuj.py
@@ -1,37 +1,35 @@
+#!/usr/bin/env python3
+
 from glob import glob
 import csv
 import tarfile
 import os
-import gzip
 from collections import defaultdict, OrderedDict

-
 # ## Číselníky
 # Napřed načteme číselníky, které budeme používat jako slovníky pro údaje v samotném CEDRu.
 # Tohle budem držet v paměti a pak za chodu nahrazovat.

 print('Načítám číselníky')
-gfn = glob('data/ciselnik*.tar.gz')
+gfn = glob('./N3/ciselnik*.n3')
 cdt = dict()

 for gf in gfn:
-    tf = tarfile.open(gf, 'r:gz')
-    for fnm in tf.getmembers():
-        if '/ciselnik' not in fnm.name: continue
-        if not fnm.name.endswith('.n3'): continue
-    #     print(fnm)
-
-        ff = tf.extractfile(fnm.name)
-        
-        for j in ff:
-            if b'/title>' not in j: continue
-            d = j.split()
-            key = d[0][1:-1].decode('ascii')
-            val = (b' '.join(d[2:-1])).decode('unicode-escape')
-            if val.startswith('"'):
-                val = val[1:val.rindex('"')]
-
-            cdt[key] = val
+    ff = open(gf, 'rb')
+    for j in ff:
+        if b'/title>' not in j: continue
+        d = j.split()
+        key = d[0][1:-1].decode('ascii')
+        val = (b' '.join(d[2:-1]))
+        if val.startswith(b'"'):
+            val = val[1:val.rindex(b'"')].decode('unicode-escape')
+        cdt[key] = val
+
+# zapis ciselniky do CSV
+with open('csv/_ciselniky.csv', 'w') as csv_file:
+    writer = csv.writer(csv_file)
+    for key, value in cdt.items():
+       writer.writerow([key, value])

 def extrahuj(ff, chces, tfn):
     """
@@ -63,7 +61,8 @@ def extrahuj(ff, chces, tfn):
             kc = list(counts.keys()) # protoze budem menit
             for k in kc:
                 if counts[k] != lc: continue # jeste nemame vse
-                w.writerow(ret[k].values())
+#                print((ret[k].values()))
+                w.writerow(list(ret[k].values()))
                 del ret[k]
                 del counts[k]

@@ -105,7 +104,7 @@ def extrahuj(ff, chces, tfn):

     # vypsat zbyvajici
     for j,k in ret.items():
-        w.writerow(k.values())
+        w.writerow(list(k.values()))

     fb.close()

@@ -163,24 +162,15 @@ with open('extrahuj.csv') as cf:

 for j, ee in enumerate(ex):
     print('\nProcesuju %s (%d/%d)' % (ee['targz'], j+1, len(ex)))
-    with tarfile.open(ee['targz'], 'r:gz') as tf:
-        ff = tf.extractfile(ee['soubor'])
-        extrahuj(ff, ee['chcem'].split(', '), ee['cil'])
+    ff = open(ee['soubor'],'rb')
+    extrahuj(ff, ee['chcem'].split(', '), ee['cil'])


 # Vazby
 # =====

-print('Načítám vazby')
-
-with tarfile.open('./data/Rozhodnuti.n3.tar.gz', 'r:gz') as tf:
-    ff = tf.extractfile('./cedr/Rozhodnuti.n3')
-    cti_vazby(ff, 'rozpoctoveObdobi', 'csv/_rozpoctoveObdobi.csv')
-
-with tarfile.open('./data/PrijemcePomoci.n3.tar.gz', 'r:gz') as tf:
-    ff = tf.extractfile('./cedr/PrijemcePomoci.n3')
-    cti_vazby(ff, 'obdrzelDotaci', 'csv/_obdrzelDotaci.csv')
+print('\nNačítám vazby')

-with tarfile.open('./data/Dotace.n3.tar.gz', 'r:gz') as tf:
-    ff = tf.extractfile('./cedr/Dotace.n3')
-    cti_vazby(ff, 'byloRozhodnuto', 'csv/_byloRozhodnuto.csv')
+cti_vazby(open("./N3/Rozhodnuti.n3", "rb"), "rozpoctoveObdobi", "csv/_rozpoctoveObdobi.csv")
+cti_vazby(open("./N3/PrijemcePomoci.n3", "rb"), "obdrzelDotaci", "csv/_obdrzelDotaci.csv")
+cti_vazby(open("./N3/Dotace.n3", "rb"), "byloRozhodnuto", "csv/_byloRozhodnuto.csv")