• Java 8 ou Java 11
• Maven 3
• Scala 2.12.17
• Spark 2.4.3

Ir até o diretório ./docker-compose/mongodb e subir o mongodb

• Executar o comando abaixo:

docker-compose up

Para parar o mongodb basta parar o processo precionando Ctrl + C

Existem dois profiles neste projeto maven

• dev: Deixar este profile ativo no IDE. Desta forma é possível rodar o projeto local na máquina se for necessário.
• prepare-deploy: Usar este profile para empacotar o jar

• Passo 1, executar o comando abaixo:

cd /home/seu_usuario/diretorio_de_sua_preferencia

• Passo 2, executar o comando abaixo:

git clone URL ingestao-mongodb

• Passo 3, executar o comando abaixo:

cd ingestao-mongodb

• Passo 4, fazer a compilação via maven executando o comando:

mvn clean install -Pprepare-deploy

O jar gerado conterá todas as dependências do projeto, assim ficará mais simples o submit para o Spark.

spark-submit --name app_ingestao-mongodb \
--class br.com.ajuda.IngestaoDadosMongoDB target/ingestao-mongodb-1.0.0.0.jar