analytics-ufcg / monitor-cidadao-dados Goto Github PK

O Monitor Cidadão é um sistema desenvolvido através da parceria entre a CampinaTec e o laboratório Analytics, da Universidade Federal de Campina Grande-PB, com finalidade de possibilitar aos cidadãos o acompanhamento dos contratos realizados pelos municípios do estado da Paraíba.

A Camada de dados consiste em uma arquitetura que fornece meios para a extração e tratamento de dados provindos de diversas fontes. Essa estrutura é formada por quatro subcategorias distintas com suas próprias responsabilidades:

• Fetch : responsável por buscar os dados em suas fontes;
• Tradutor: responsável por traduzir os dados para um formato tabular - especialmente útil para dados que são disponibilizados em formato .csv;
• Transformador: realiza manipulações nos dados como, por exemplo, joins;
• Preditor: encapsula diversas funções para a realização das predições em torno dos contratos públicos.

Abaixo é apresentado o fluxo de dados geral das camadas citadas acima.

Desenvolvido em:

• R

Os serviços deste módulo utilizam docker para configuração do ambiente e execução do script. Instale o docker, docker-compose e tenha certeza que você também tem o Make instalado.

Adicione os seguintes arquivos com variáveis de ambiente e credenciais:

• Adicione o arquivo .env na pasta raiz do projeto;
• Adicione os arquivos config, id_rsa, id_rsa.pub e known_hosts na pasta fetcher/credenciais.

Nesta camada o make é utilizado como facilitador para execução. Abaixo estão descritos os passos necessários para importar os dados para o banco de dados Analytics (também chamado de AL_DB) e Monitor Cidadão (também chamado de MC_DB):

Passos comuns a ambos os bancos:

1. Faça o build das imagens necessárias com sudo make build;
2. Crie e inicie os containers do docker com sudo make up;
3. Obtenha os dados através do sudo make fetch-data. Nesta etapa você também pode testar a integridade dos dados obtidos utilizando os testes unitários de cada tabela com sudo docker exec -it fetcher sh -c "Rscript tests/<nome-da-tabela>.R";
4. Traduza e transforme os dados colhidos sudo make transform-data;

Para o AL_DB:

5. Crie as tabelas no banco AL_DB com sudo make feed-al-create;
6. Agora importe os dados para as tabelas do banco com sudo make feed-al-import;
7. Você pode verificar se a(s) tabela(s) estão no banco com sudo make feed-al-shell e \dt.

Geração das previsões:

8. Gere as features da previsão com sudo make gera-feature vigencia=<encerrados, vigentes e todos> data_range_inicio=<2012-01-01> data_range_fim=<2018-01-01>;
9. Gere o feature set da previsão com sudo make gera-feature-set tipo_construcao_features=<recentes>;
10. Gere o experimento com as informações do risco com sudo make gera-experimento tipo_contrucao_feature_set=<recentes>.

Para o MC_DB:

11. Crie as tabelas no banco MC_DB com sudo make feed-mc-create;
12. Importe os dados das features para as tabelas do banco com sudo make feed-mc-import-feature;
13. Importe os dados do features set para as tabelas do banco com sudo make feed-mc-import-feature-set;
14. Agora importe os dados do experimento para as tabelas do banco com sudo make feed-mc-import-experimento;
15. Você pode verificar se a(s) tabela(s) estão no banco com sudo make feed-mc-shell e \dt.

Caso você queira executar os comandos docker diretamente, confira o código correspondente a seu comando no arquivo Makefile. Abaixo estão todos os comandos disponíveis para serem executados com sudo make <Comando>:

GNU Affero General Public License v3.0 © Monitor Cidadão