template_data_mesh's Introduction

template data mesh centralised management

This repository contains the management utilities associated with template data mesh

It manages 4 datasets:

declared_hobbies_cleaned stored using s3
declared_hobbies_raw stored using s3
declared_hobbies_histo stored using redshift
declared_hobbies stored using redshift

Please refer to the links above for more detail about a particular dataset

The folder architecture is as follow:

/
├── datasets/
│   ├── redshift/
│   │   ├── declared_hobbies/
│   │   │   ├── cleaning/
│   │   │   ├── data_model/
│   │   │   ├── ingest/
│   │   │   ├── main.ipynb
│   │   │   ├── quality/
│   │   │   │   └── quality.ini
│   │   │   └── README.md
│   │   └── declared_hobbies_histo/
│   │       ├── cleaning/
│   │       ├── data_model/
│   │       ├── ingest/
│   │       ├── main.ipynb
│   │       ├── quality/
│   │       └── README.md
│   └── s3/
│       ├── declared_hobbies_cleaned/
│       │   ├── cleaning/
│       │   ├── data_model/
│       │   ├── ingest/
│       │   ├── main.ipynb
│       │   ├── quality/
│       │   └── README.md
│       └── declared_hobbies_raw/
│           ├── cleaning/
│           ├── data_model/
│           ├── ingest/
│           ├── main.ipynb
│           ├── quality/
│           └── README.md
├── mkreadme.py
├── README.md
├── requirements.txt
├── scripts/
│   └── mktree.py
└── templates/
    └── README.md.j2

NOTE

This README is generated by a Github action. Please do not edit by hand.

Recommend Projects