Giter Club home page Giter Club logo

datathons-2's Introduction

Datathons 2

texto

  1. Descrição do projeto
  2. Funcionalidades
  3. Pré-requisitos
  4. Execução

📜 Descrição do projeto

Consolidação de dados de precipitação da bacia do Iguaçu.

✨ Funcionalidades

✔️ Obtenção de séries de precipitação da ANA e INMET

✔️ Obtenção de séries de precipitação do MERGE

✔️ Limpeza e remoção de dados espúrios nas séries de precipitação

✔️ Preenchimento de falhas com dados de satélite

✔️ EXTRA: Melhoria de cobertura da bacia utilizando postos pluviométricos artificiais

⚠️ Pré-requisitos

▶️ Execução

Como executar

Para utilizar as funções do módulo hidromet, serão necessários os seguintes passos:

  1. Clone este repositório.
git clone [email protected]:andradelis/datathons-2.git
  1. Acesse o diretório do projeto.
cd datathons-2
  1. Instale as dependências.
pip install -r requirements.txt # com pip
# OU 
bash conda-install.bash # com conda (recomendado)

Ordem de execução dos notebooks

OBS: Todos os notebooks com o prefixo dados poderão ser rodados em qualquer ordem. Estes servem apenas para a coleta de dados de diversas fontes.

OBS2: Os dados extraídos de cada etapa são exportados para o diretório arquivos. O download de séries de satélite poderá demorar algumas horas! Para a operacionalização, o dado de satélite deverá ser baixado apenas para o dia atual corrente e acrescido ao restante do histórico.

Execução completa

Coleta
  1. 00.dados-ANA.ipynb
  2. 00.dados-INMET.ipynb
  3. 00.dados-satelite.ipynb
Remoção de postos repetidos entre e intra fontes
  1. 01.remocao-repetidos.ipynb
Visualização exploratória
  1. 02.EDA-viz.ipynb
Remoção de outliers
  1. 03.rem-out.ipynb
Análise de representatividade
  1. 04.representatividade.ipynb
Preenchimento de falhas
  1. 05.preenchimento.ipynb
Execução final
  1. 06.execucao.ipynb
Visualização com plotly
# em seu terminal, rode o executável
python 07.dash.py
Extra: Preenchimento da cobertura de postos a partir de postos artificiais!
  1. 05.extra.preenchimento-bacias.ipynb

Teste do resultado

Execução final
  1. 06.execucao.ipynb
Visualização com plotly
# em seu terminal, rode o executável
python 07.dash.py

🚧 Desenvolvimento

🐍 Preparação do ambiente Python

# 1. entre no diretório do projeto
cd datathons-2

# 2. crie o ambiente virtual do projeto
bash conda-install.bash

# 3. ative o ambiente
conda activate datathons-2

datathons-2's People

Contributors

andradelis avatar viictor-m avatar bixbyone avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.