Giter Club home page Giter Club logo

saude-mental-indicadores's Introduction

Badge DBT Badge em Desenvolvimento

Impulso Saúde Mental | Engenharia de indicadores

Este repositório contém os modelos de transformação de dados para o cálculo dos indicadores da plataforma Impulso Saúde Mental, no formato utilizado pela biblioteca de analytics engineering dbt.

Nota: atualmente (dezembro/2022), parte das transformações de dados para cálculo dos indicadores estão implementadas como scripts SQL no repositório @ImpulsoGov/bd. Esses scripts serão gradualmente movidos para este repositório e reimplementados como modelos do dbt.


🔎 Índice

  1. Contexto
  2. Estrutura do repositório
  3. Instruções para instalação
    1. Antes da instalação
    2. Obtendo e construindo a imagem Docker
  4. Utilização
  5. Contribua
  6. Licença

🚀 Contexto

Um dos propósitos da ImpulsoGov, enquanto organização, é transformar dados da saúde pública do Brasil em informações que ofereçam oferecer suporte de decisão aos gestores de saúde pública em todo o Brasil. Embora o SUS tenha uma riqueza de dados há muitas dificuldades para reunir, coletar e analisar dados em diferentes sistemas de informação. O projeto de Saúde Mental tem como objetivo apoiar gestões da Rede de Atenção Psicossocial (RAPS) com uso de dados e indicadores desenvolvidos a partir do entendimento do dia a dia e dos principais desafios da rede. Hoje, este repositório estrutura a base de dados que alimenta uma ferramenta gratuita de visualização de indicadores disponibilizada aos gestores parceiros.


🌌 Estrutura do repositório

O repositório é estruturado seguindo modelo necessário para utilização do DBT,

├─ saude-mental-indicadores
│  ├─ analysis
│  ├─ docs
│  ├─ logs
│  ├─ macros
│  │  └─ ...
│  ├─ models
│  │  └─ codigos 
│  │  └─ sources
│  │  └─ ...
│  ├─ seeds
│  ├─ snapshots
│  ├─ target
│  ├─ tasks
│  ├─ tests
│  ├─ ...
└─ 

A pasta macros contém as funções de transformações de dados em Jinja, já a pasta models contém tanto os modelos em SQL responsáveis por criar as tabelas utilizadas no projeto, quanto as fontes contidas no banco de dados que alimentam as tabelas.


🛠️ Instalação

Antes da instalação

As ferramentas presentes neste repositório pressupõem que a máquina em questão possui o Docker instalado para a execução de contêineres. Rodar a aplicação fora do contêiner Docker providenciado junto ao repositório pode levar a resultados inesperados.

A aplicação também pode ser executada diretamente no GitHub, por meio dos fluxos de trabalho do GitHub Actions que já são fornecidas no repositório. Nesse caso, você deve apenas criar um fork, e os fluxos passarão a ser executados da sua conta do GitHub - inclusive consumindo da sua cota de minutos do GitHub Actions.

Em ambos os casos, a aplicação espera que o seu sistema contenha informações importantes para a conexão com a instância do banco de dados, na forma de variáveis de ambiente. Veja as variáveis esperadas no arquivo .env.exemplo.

Se estiver desenvolvendo localmente, você pode fornecer essas variáveis renomeando o arquivo .env.exemplo para .env, trocando os valores fictícios pelos valores verdadeiros e rodando o comando docker run com o argumento --env-file=".env" (ver abaixo). Caso esteja utilizando o GitHub Actions, providencie essas variáveis de ambiente como segredos do repositório.

Mais informações sobre a criação de uma instância de banco de dados com estrutura semelhante à da ImpulsoGov podem ser encontrados no repositório @ImpulsoGov/bd.

Obtendo e construindo a imagem Docker

Para obter a última versão da imagem docker, clone o repositório e chame o comando docker build a partir do diretório clonado:

$ git clone https://github.com/ImpulsoGov/saude-mental-indicadores.git
$ cd saude-mental-indicadores
$ docker build -t impulsogov/saude-mental-indicadores:latest .

⚙️ Utilização

A imagem fornecida suporta os comandos dbt seed, dbt run e dbt test. Com a imagem docker construída localmente, basta invocá-los com o comando docker run:

$ docker run \
> --env-file=".env" \
> --mount type=bind,source="$(pwd)/logs",destination="/usr/app/dbt/logs" \
> --mount type=bind,source="$(pwd)/target",destination="/usr/app/dbt/target" \
> impulsogov/saude-mental-indicadores:latest dbt run -t analitico

No caso da utilização com GitHub Actions, a execução desses comandos é automatizada com os fluxos de trabalho existentes, mas você também pode iniciá-los manualmente na aba Actions do seu fork.


🗨️ Contribua

Sinta-se à vontade para contribuir em nosso projeto! Abra uma issue ou envie PRs.


®️ Licença

MIT © (?)

saude-mental-indicadores's People

Contributors

bcbernardo avatar fernandesbruna avatar gabriellearruda avatar

Stargazers

 avatar  avatar

Watchers

 avatar  avatar

saude-mental-indicadores's Issues

Admitir diferentes nomes para colunas de identificadores no macro `preparar_uso_externo()`

Atualmente, o macro preparar_uso_externo() faz suposições sobre os nomes de colunas com identificadores, que devem ser substituídas pelos nomes das respectivas categorias: sexo_id_sigtap para colunas referentes ao sexo dos usuários; raca_cor_id_sigtap para os identificadores de raça/cor; estabelecimento_id_scnes para o identificador dos estabelecimentos de saúde...

Esta issue consiste em flexibilizar essas suposições, admitindo qualquer padrão (detectado com expressões regulares) no estilo '.*<nome_da_categoria>_id.*' (onde <nome_da_categoria> é uma string como sexo, raca_cor, estabelecimento...), desde que a coluna identificadora correspondente exista na tabela respectiva do schema listas_de_codigos.

Transferir indicadores de usuários ativos para o dbt

Mover os indicadores de usuários ativos - incluindo perfil dos usuários - atualmente localizados no repositório ImpulsoGov/bd, para este repositório, e refatorá-los para utilizar as funcionalidades do dbt (grafos de dependências, documentação, transformações incrementais...).

Reimplementar as atuais views materializadas (todas armazenadas no schema saude_mental):

  • _usuarios_ativos
  • usuarios_ativos_perfil
  • _usuarios_ativos_por_estabelecimento
  • _usuarios_ativos_por_estabelecimento_resumo
  • usuarios_ativos_por_estabelecimento_resumo
  • usuarios_ativos_por_estabelecimento_resumo_ultimo_mes

Adicionar coluna `periodo` legível no modelo `caps_usuarios_ativos_perfil`

A coluna periodo é adicionada aplicando-se o macro adicionar_datas_legiveis() sobre uma CTE, e contém o mês e o ano da competência em um de texto formato legível para humanos, ou o valor Última competência quando o mês for o mais recente disponível no banco.

Essa coluna já foi adicionada no modelo caps_usuarios_ativos_resumo, mas não na view caps_usuarios_ativos_perfil. Esta issue consiste em adicionar a coluna pertinente nesse segundo modelo.

Refatorar macros `preparar_uso_externo()` e `nomear_*()`

Seguimento da issue #9 e do PR #10: Os trechos de macros modificados pelo PR #10 (preparar_uso_externo() e nomear_*()) apresentam bastante semelhança/repetição, e provavelmente podem ser refatorados para garantir mais economia de código e facilidade de manutenção.

Usuários ativos - Totais por linha

Ataualmente, os modelos de usuários ativos totalizam as variáveis numéricas para o conjunto dos estabelecimentos em um município e competência.

Esta issue consiste em fazer com que haja totalizações também por linha de cuidado, permitindo a criação de filtros que utilizem a linha (adulto/infanto-juvenil e/ou transtornos/AD) como critérios.

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.