Conjunto de dados do PPAG Planejamento
Esse projeto utiliza Docker para gerenciamento das dependências. Para fazer build da imagem execute:
docker build --tag ppag-planejamento .Para executar o container
docker run -it --rm --mount type=bind,source=$(PWD),target=/project ppag-planejamento bashUma vez dentro do container execute os comandos do make
make all
Ao começar a experimentar com um projeto para automatizar as conferências realizadas nas bases do sigplan e do sisor no processo de elaboração da LOA e do PPAG pela DCPPN percebi que a inferência do Schema.describe estava incorretamente atribuindo o tipo integer para colunas que deveriam ser number.
Isso gerou falhas em comparações que deveriam ser iguais por causa dos tipos dos dados
── Failure (test_valor_total_anual.R:16:3): Total do orçamento fiscal e investimento SIGPLAN vs SISOR ──
`sisor` not equal to `sigplan`.
Classes differ: 'numeric' is not 'integer64'
[ FAIL 1 | WARN 0 | SKIP 0 | PASS 0 ]
Isso foi um problema específico do data.table no R, mas pode acontecer em outros casos, como por exemplo no df.equals() do pandas. De acordo com o chatGPT:
It depends on what you're looking for:
If you want to check if two dataframes are identical in terms of data, data types, column names, indices, and their order, you should use
df.equals(). This is a stricter comparison.If you're only interested in whether they have the same data values, and you're not concerned about data types, column names, indices or their order, you can use
df.compare(). However, since it does not provide a simple boolean result, you would have to check if the resulting dataframe is empty, likedf1.compare(df2).empty.To summarize, if you want a strict check, use
df.equals(). If you are only interested in data values, usedf.compare().empty.For instance, if you want to ensure two datasets are identical (including indices and column names) before running an analysis,
df.equals()would be a better choice. On the other hand, if you only care about the data and plan to manipulate the columns or indices later,df.compare().emptycould be a good choice.
Além disso, o novo schema das bases do SISOR para 2024 em que as colunas estão mais próximas de um name do que um title mas não necessariamente são o que a gente quer usar mostrou que precisamos abandonar a inversão de name e title na transformação em favor de uma solução mais genérica.
Smj. frictionless validate não possui opção para configurar qual exit code deve ser retornado em caso de falha. Vale a pena relatar, mas as duas opções imediatas são:
cat reports/raw/acoes_planejamento.json | jq '.valid')A ideia é que esse repositório (atualmente ppag2023-dadosmg mas que vai mudar para ppag-planejamentoppag-planejamento-dados) contenha apenas a parte de código que em teoria pode ser reutilizada para múltiplos anos e é pequena em termos de espaço.
Para o reuso do código no repositório de cada cada ano (eg. ppag-planejamento-dados-2023) vamos adicionar o repo ppag-planejamento-dados como upstream, permitindo compartilhamento enquanto for necessário mas ainda sendo independentes.
Para manter o histórico desse repo fiz a remoção das pastas data/, logs/ e reports/ usando git-filter-repo
Ontem eu e @hslinhares vimos o programa 34 - POLICIA OSTENSIVA na base de dados do PPAG 2024 marcado com Programa Novo? Não, algo incorreto tendo em vista o "zeramento" da base exceto para outros poderes e os programas 705 e 706.
Depois de muita investigação com a DCPPN chegamos a conclusão que de forma intermitente o SIGPLAN estava gerando bases de dados poluídas com informações do PPAG 2023.
Não conseguimos chegar a uma conclusão do que estava causando depois de testarmos combinações variadas de:
Alterei o log da extração no commit 26f2ffa para ficar mais fácil ver o problema porque sabemos que o programas_planejamento não deve extrair 1.245 registros, e sim cerca de 270 (esqueci o número exato). No log de hoje deu erro novamente:
2023-07-06T12:00:26+0000 INFO [scripts.extract] Extracting resource programas_planejamento
╭──────────────────────────────────────────────────────────────────────────────╮
│ │
│ │
│ │
│ 09:00:26 - Geração de Arquivos Texto, aguarde esse processamento pode ser um │
│ pouco demorado! │
│ │
│ │
│ │
│ ::. % - 0 / 1.245 Registros processados - 09:00:26 - 0 seg. │
│ │
│ [Clique aqui para fazer o download do arquivo │
│ programas_planejamento.txt](../../BasesTxt/programas_planejamento.txt) │
│ │
│ ATENÇÃO: Ao abrir o arquivo no Excel use o caracter **|** como separador de │
│ campos │
│ │
│ 09:01:00 - Arquivo : programas_planejamento.txt gerado com sucesso!!! │
│ │
│ **Tempo de Processamento _00:00:34_** │
│ │
│ │
│ │
│ │
╰──────────────────────────────────────────────────────────────────────────────╯
Existem valores ausentes em várias colunas. Por exemplo:
sed -n '633p' data/raw/localizadores_todos_planejamento.txt
0003|PRESTA??O DE SERVI?OS PREVIDENCI?RIOS|07AT07|Seguran?a P?blica|False|4004|AUX?LIOS PREVIDENCI?RIOS E ASSISTENCIAIS CONCEDIDOS AOS SEGURADOS E AOS SEUS DEPENDENTES|0|Demais Projetos e Atividades|||9|PREVID?NCIA SOCIAL|272|PREVID?NCIA DO REGIME ESTATUT?RIO|02121|INSTITUTO DE PREVID?NCIA DOS SERVIDORES MILITARES DO ESTADO DE MINAS GERAIS|False|V99497|N?o|5|Regi?o Intermedi?ria de Ipatinga|3170578|851|VARGEM ALEGRE|116523|27|119902|28|123392|29|131967|29
Esses valores estão sendo convertidos para NA pelo script scripts/transform.R e gerando erro durante a validação do frictionless tendo em vista que por default as colunas podem ter valores ausentes mas eles devem estar codificados como "":
Many datasets arrive with missing data values, either because a value was not collected or it never existed. Missing values may be indicated simply by the value being empty in other cases a special value may have been used e.g.
-,NaN,0,-9999etc.
missingValuesdictates which string values should be treated asnullvalues. This conversion tonullis done before any other attempted type-specific string conversion.
The default value[ "" ]means that empty strings will be converted to null before any other processing takes place.-- https://specs.frictionlessdata.io/table-schema/#missing-values
Em um dado momento do tempo pode acontecer que os arquivos primários de determinado conjunto não devem mais ser atualizados.
Isso é inclusive um requisito legal da Lei de Acesso a Informação (LAI) que obriga a garantia da integridade1 das informações disponíveis para acesso.
Nesses casos podemos informar manualmente a propriedade hash em cada recurso e o frictionless validate datapackage.yaml vai identificar se houve alguma modificação acidental:. Por exemplo:
─────────────────────────────────────────────────────────────── Tables ────────────────────────────────────────────────────────────────
acoes_planejamento
┏━━━━━━┳━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Row ┃ Field ┃ Type ┃ Message ┃
┡━━━━━━╇━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
│ None │ None │ hash-count │ The data source does not match the expected hash count: expected is │
│ │ │ │ "d5aa5075fb2dc53d9c58bc4afa2fdf85d0af900c97be88abdc05a12cc89b8bb2" and actual is │
│ │ │ │ "c5aa5075fb2dc53d9c58bc4afa2fdf85d0af900c97be88abdc05a12cc89b8bb2" │
└──────┴───────┴────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────┘
Uma questão em aberto é que o cálculo da hash do frictionless-py ainda é diferente entre windows e unix.
A discussão do issue transparencia-mg/remuneracao#34 também é relevante para ilustrar a necessidade de garantir a linhagem dos dados.
definida como qualidade da informação não modificada, inclusive quanto à origem, trânsito e destino ↩
Na documentação da base eu inseri algumas foreignKeys no schema. No entanto, tendo em vista a ordem de execução atual do make ao validar um recurso, por exemplo indicadores_planejamento
frictionless validate --resource-name indicadores_planejamento datapackage.yamlEu recebo um erro de que
──────────────────────────────────── Tables ────────────────────────────────────
indicadores_planejamento
┏━━━━━━┳━━━━━━━┳━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Row ┃ Field ┃ Type ┃ Message ┃
┡━━━━━━╇━━━━━━━╇━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
│ None │ None │ scheme-error │ The data source could not be successfully │
│ │ │ │ loaded: [Errno 2] No such file or directory: │
│ │ │ │ 'data/programas_planejamento.csv' │
└──────┴───────┴──────────────┴────────────────────────────────────────────────┘
porque python scripts/transform.py programas_planejamento ainda não executou e gerou data/programas_planejamento.csv. O erro acontece mesmo se eu pular o check de foreign-key no frictionless com
frictionless validate --skip-errors foreign-key --resource-name indicadores_planejamento datapackage.yamlSe me lembro bem no age7 a gente fazia uma nova rodada de validação no final da execução.
O "csv excel" que utiliza codificação utf-8 with bom, separador ; e decimal , é o formato utilizado por padrão para publicação de CSVs no Portal de Dados Abertos (vide transparencia-mg/age7/issues/118) para evitar a necessidade de "tutoriais"1 sobre como abrir os arquivos no excel sem problemas de mojibake.
De acordo com a DCPPN os arquivos primários extraídos do SIGPLAN estão em formato txt (vale a pena confirmar o formato exato em que eles são extraídos) mas o uso corrente por parte da equipe é em excel.
Com a conversão txt -> csv excel atendemos os dois casos.
Como esse da Câmara dos Deputados: Corrigindo a acentuação nos arquivos CSV
↩
Isso está sendo gerado por causa do arquivo localizadores_Todos_planejamento.txt. É melhor investigar a origem desse nome do que inserir lógica para modificar o nome do recurso criando divergência entre o nome do arquivo e o nome do recurso.
O trecho relevante da especificação:
A resource MUST contain a
nameproperty. The name is a simple name or identifier to be used for this resource.
- If present, the name MUST be unique amongst all resources in this data package.
- It MUST consist only of lowercase alphanumeric characters plus “.”, “-” and “_”.
- It would be usual for the name to correspond to the file name (minus the extension) of the data file the resource describes.
Ainda que utilizar o yaml seja bom para os processos internos, como em #4-comment e #12, ele ainda não faz parte da especificação1, e, portanto, o nosso produto final deve ser um datapackage.json.
Essa etapa é simples e pode ser gerada por exemplo com:
datapackage.json: datapackage.yaml
frictionless describe --type package --json datapackage.yaml > datapackage.json
O que eu tenho mais dúvida é se o datapackage.json deve ser versionado e quais informações extras de run time devem ser inseridos (eg. commit).
Um argumento forte para ele ser versionado é que permite que as ferramentas façam a leitura do data package diretamente do repositório do Github.
Pode ser que uma action agendada demore até uma hora pra executar ou até mesmo não execute.
Vale a pena antecipar o horário atual de 07:13 (10:13 UTC) para algo mais cedo.
O yq é utilizado para extrair os nomes dos recursos do datapackage.yaml para uso no make. Além de ser uma dependência de sistema adicional que exige instalação local e modificações no Dockerfile:
RUN export DEBIAN_FRONTEND=noninteractive
RUN apt-get update
RUN apt-get install -y software-properties-common
RUN add-apt-repository ppa:rmescandon/yq
RUN apt-get install yq -y
Eu perdi muito tempo porque existem dois programas com o mesmo executavel yq mas com flags diferentes.
E o resumo do chatGPT
The
yqcommand with theeorevaluateflag that you mentioned in your original question is from the tool developed by Mike Farah. This tool is written in Go and its syntax is closely aligned with thejqJSON processor.On the other hand, the
yqtool developed by Andrey Kislyuk is a wrapper aroundjqthat translates YAML files to JSON. This version ofyqdoes not support theeflag, and its syntax and options are slightly different.If you're trying to use the
eflag, it seems like you should be using Mike Farah'syq. You can download or update to the latest version of thisyqfrom the GitHub link you provided or using package managers likebreworsnap.If you've installed both versions of
yqon your system, they could be conflicting. Ensure that theyqyou're using is the one you intend by checking its path withwhich yqand its version withyq --version.
Como forma de poupar minutos do Github Actions.
Por causa dos objetos da frictionless o traceback está ficando muito grande e dificil de interpretar. Por exemplo:
(venv) ppag-planejamento (main)*$ make extract
python main.py extract acoes_planejamento && python main.py extract indicadores_planejamento && python main.py extract localizadores_todos_planejamento && python main.py extract programas_planejamento && true
2023-06-30T07:47:58-0300 INFO [scripts.extract] Geração de arquivo texto para acoes_planejamento. Aguarde esse processamento pode ser um pouco demorado!
╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ /Users/fjunior/Projects/splor/ppag-planejamento/scripts/extract.py:22 in extract_resource │
│ │
│ 19 │ # Tempo de Processamento 00:01:13 │
│ 20 │ logger.info(f"Geração de arquivo texto para {resource_name}. Aguarde esse processame │
│ 21 │ if True: │
│ ❱ 22 │ │ raise Exception('Mensagem de erro') │
│ 23 │ res = requests.get(resource.custom['api_url']) # Resource is stripping url property │
│ 24 │ res.raise_for_status() │
│ 25 │ if 'gerado com sucesso!' not in res.text: │
│ │
│ ╭─────────────────────────────────────────── locals ───────────────────────────────────────────╮ │
│ │ descriptor = 'datapackage.yaml' │ │
│ │ package = Package( │ │
│ │ │ source=None, │ │
│ │ │ control=None, │ │
│ │ │ _basepath='', │ │
│ │ │ name='ppag2023-dadosmg', │ │
│ │ │ title=None, │ │
│ │ │ description=None, │ │
│ │ │ homepage=None, │ │
│ │ │ profile=None, │ │
│ │ │ licenses=[], │ │
│ │ │ sources=[], │ │
│ │ │ contributors=[], │ │
│ │ │ keywords=[], │ │
│ │ │ image=None, │ │
│ │ │ version=None, │ │
│ │ │ created=None, │ │
│ │ │ resources=[ │ │
│ │ resource_name = 'acoes_planejamento' │ │
│ ╰──────────────────────────────────────────────────────────────────────────────────────────────╯ │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
Exception: Mensagem de erro
make: *** [extract] Error 1
Vale a pena experimentar com uma versão com menos contexto porém menor:
make extract
python main.py extract acoes_planejamento && python main.py extract indicadores_planejamento && python main.py extract localizadores_todos_planejamento && python main.py extract programas_planejamento && true
2023-06-30T07:55:10-0300 INFO [scripts.extract] Geração de arquivo texto para acoes_planejamento. Aguarde esse processamento pode ser um pouco demorado!
╭─────────────────────────────── Traceback (most recent call last) ────────────────────────────────╮
│ /Users/fjunior/Projects/splor/ppag-planejamento/scripts/extract.py:22 in extract_resource │
│ │
│ 19 │ # Tempo de Processamento 00:01:13 │
│ 20 │ logger.info(f"Geração de arquivo texto para {resource_name}. Aguarde esse processame │
│ 21 │ if True: │
│ ❱ 22 │ │ raise Exception('Mensagem de erro') │
│ 23 │ res = requests.get(resource.custom['api_url']) # Resource is stripping url property │
│ 24 │ res.raise_for_status() │
│ 25 │ if 'gerado com sucesso!' not in res.text: │
╰──────────────────────────────────────────────────────────────────────────────────────────────────╯
Exception: Mensagem de erro
make: *** [extract] Error 1
Ps. Ao tentar postar o log original recebi um erro do github de que "There was an error creating your Issue: body is too long (maximum is 65536 characters)."
Se houver modificações nos arquivos primários a validação dos mesmos deve falhar, a menos que manualmente o usuário faça a substituição dos table schemas em schemas/raw/.
Isso significa que os targets
infer: $(TABLESCHEMA_RAW) ingest ## Infer table schema for files in data/raw/ and store under schemas/raw/
$(TABLESCHEMA_RAW): schemas/raw/%.yaml: data/raw/%.txt
frictionless describe --dialect '{"delimiter": "|"}' --format csv --type schema --yaml $< > $@
são problemáticos pois se os novos dados tiverem alterações de schema que não são desejadas, os schemas em schemas/raw/ serão atualizados.
Talvez seja mais simples implementar um script scripts/infer.py. O ponto negativo é que ele sera executado para todos os arquivos.
Na conta GitHub Free utilizada pela organização SPLOR temos como limite no Github Actions 500 MB de storage e 2000 minutos de job execution time.
Se cada job demorar 10 minutos (os do PPAG tem demorado 6m), podemos executar 200 jobs por mês. Isso significa 6 conjuntos de dados que possuem atualização diária (6x30x10 = 1800).
Essa alteração é pra permitir uma maior reprodutibilidade do projeto, especialmente nessa fase inicial.
Podemos chegar nos limites de tamanho máximo para o repositório de forma precoce (antes da finalização do ciclo de atualização de uma base)
We recommend repositories remain small, ideally less than 1 GB, and less than 5 GB is strongly recommended. Smaller repositories are faster to clone and easier to work with and maintain. If your repository excessively impacts our infrastructure, you might receive an email from GitHub Support asking you to take corrective action.
Vale reforçar a observação de #21 que os repositórios anuais são "descartáveis" e não existe promessa de que eles serão mantidos online1.
Mas nada impede, muito antes pelo contrário, que a gente faça backup local com git bundle caso seja necessário acessar uma versão específica dos dados. Não temos mais o commit no datapackage.json (como discutido em #14) mas a propriedade updated_at com o título do commit é suficiente pra essa identificação. ↩
Na nossa reunião @labanca observou que atualmente como o workflow check é executado quando existe push que alteram a pasta data/, o target make check é executado em duplicidade porque vai rodar tanto no workflow all quanto imediatamente depois.
Para a elaboração da LOA/PPAG 2024 vou executar os fluxos de dados no Github Actions. Como vamos cair no problema de modificação nas datas dos arquivos pelo git checkout vou remover essa etapa para simplificar o projeto nesse momento inicial.
Em um teste inicial recebi a mensagem:
library(frictionless)
package <- read_package("dist/ppag2023-dadosmg.zip")Error in parse_con(txt, bigint_as_char) :
lexical error: invalid char in json text.
PK��� (right here) ------^
O objetivo aqui é não rodar novamente as etapas posteriores do fluxo caso não tenha havido modificação no conteúdo, e não somente no timestamp, dos arquivos de dados primários.
O make publish atual executa
publish:
git add -Af data/*.csv
git commit --author="Automated <[email protected]>" -m "Update data package" || exit 0
git push
No entanto, o git não está instalado no container e executar docker run --rm --mount type=bind,source=${PWD},target=/project ppag-planejamento make all vai gerar o erro abaixo na hora do make publish:
root@94c1d112186e:/project# make publish
git add -Af data/*.csv
/bin/sh: 1: git: not found
make: *** [Makefile:22: publish] Error 127
Não sei se simplesmente instalar o git vai resolver o problema porque pode ser que as permissões não existam de forma correta dentro do container para comunicação no Github. Necessário avaliar esse caso tanto localmente quanto no github actions.
Atualmente a variável EXT = txt precisa ser alterada em cada projeto e precisamos manter a consistência entre resource.name e resource.path definidos no datapackage.yaml e o padrão $(INPUT_DIR)/%.$(EXT) definido manualmente no makefile/
Atualmente como os scripts de extração estão sendo combinados com ;. Isso significa que o segundo recurso vai ser extraído ainda que o primeiro lance um erro. Queremos usar && para combinação dos comandos para evitar atualizações parciais. A diferença é:
In a Unix-like command-line shell such as bash,
;and&&are both used to link together multiple commands, but they behave differently.
The semicolon
;allows you to execute multiple commands in sequence, regardless of whether each previous command succeeds. For example:command1 ; command2 ; command3Here,
command2will execute aftercommand1completes, regardless of whethercommand1succeeded or failed. Similarly,command3will execute aftercommand2completes, regardless ofcommand2's outcome.On the other hand, the
&&operator allows you to execute the next command only if the previous command succeeded (i.e., returned a zero exit status). For example:command1 && command2 && command3Here,
command2will only execute ifcommand1completes successfully. Ifcommand1fails (returns a non-zero exit status), thencommand2won't be executed. Similarly,command3will only execute if bothcommand1andcommand2succeed.So, in summary:
- Use
;to run multiple commands in sequence, regardless of whether each command succeeds or fails.- Use
&&to run multiple commands in sequence, but stop if any command fails.-- chatGPT
O principal objetivo aqui é maximizar o reuso de informações entre as etapas de:
Eu estava recebendo um warning na execução do github actions de que:
The
save-statecommand is deprecated and will be disabled soon. Please upgrade to using Environment Files. For more information see: https://github.blog/changelog/2022-10-11-github-actions-deprecating-save-state-and-set-output-commands
Eu vi o issue docker/build-push-action#779 e confundi as actions, alterando no commit 2f389db a docker/setup-buildx-action para v3 no lugar da docker/build-push-action . Como ainda não existe docker/setup-buildx-action@v3 recebi o erro
Unable to resolve action
docker/setup-buildx-action@v3, unable to find versionv3
Nas bases do ppag planejamento não há uma coluna com a funcional programática formatada.
Essa informação, necessária à DCMEFO, é criada por meio de concatenação diretamente no BI.
Para melhorar a performance do painel e atender a outros projetos, sugere-se que esta coluna seja incluída diretamente na base durante a etapa de transformação do datapackage.
Os problemas na versão https://github.com/splor-mg/ppag-planejamento-dados-2024/tree/a950492b20bd810485fcc92e22570386d268e11e da base
Os programas que tiveram as áreas temáticas alteradas, estão sem diretriz estratégica. Eles precisam ficar com as diretrizes da época do projeto de lei, vou mandar na planilha em anexa quais são as de cada programa.
Programas: 44, 148, 172
As diretrizes estão no "sistema" na parte que vc visualiza os dados do sistema, mas não aprece quando clica no botão de área, objetivo e diretrizes assim como nas bases.
Além disso, o programa 44 também parece que está com linha duplicada na base programas. Você ajusta isso também?
Deveriam ter sido apontados pela validação mas não foram por causa de um bug nas dependências do projeto frictionlessdata/frictionless-py#1623
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
Django
The Web framework for perfectionists with deadlines.
Laravel
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft
Open source projects and samples from Microsoft.
Google
Google ❤️ Open Source for everyone.
Alibaba
Alibaba Open Source for everyone
D3
Data-Driven Documents codes.
Tencent
China tencent open source team.