Este repositório irá apresentar a construção de uma pipeline de engenharia de dados, usando como exemplo a API do twitter. Com ela, iremos extrair dados de tweets sobre algum assunto que esteja bombando no momento.
Abaixo tem um checklist do básico que precisa ser feito:
[x] Criação da classe TwitterAPI para a extração de dados do twitter.
[ ] Ajuste da classe TwitterAPI, para a criação de um dataframe e salvando em alguma pasta raw(localmente) usando pyspark.
[ ] Criação da classe (validation) de Processamento dos dados salvos na raw e criando uma proxima camada, chamada trusted.
[ ] Essa etapa deveria ter vindo primeiro, usar o terraform para criar a IaC.
[ ] Essa etapa deveria ter vindo primeiro, criar uma classe para se connectar a AWS e criar buckets.
[ ] Deve surgir mais etapas