Ambiente para estudo dos principais frameworks big data em docker.
Esse setup vai criar dockers com os frameworks HDFS, HBase, Hive, Presto, Spark, Jupyter, Hue, Mongodb, Metabase, Nifi, kafka, Mysql e Zookeeper com a seguinte arquitetura:

• Instalação do Docker ToolBox no Windows faça o download em Docker ou o docker no Linux
• Instalação do git

OBS: Existe um git na instação do Docker ToolBox, caso já tenha instalado não precisa instalar novamente

OBS: Esse passo deve ser realizado apena uma vez. Após o ambiente criado, utilizar o docker-compose para iniciar os containers como mostrado no tópico INICIANDO O AMBIENTE

OBS: A criação do diretório é importante para os mapeamentos necessários

• No Windows:

  • Criar na raiz do seu drive o diretório docker ex: C:\docker

• No Linux:

  • Criar o diretório na home do usuário ex: /home/user/docker

      git clone https://github.com/fabiogjardim/bigdata_docker.git

• No Windows:

  Abrir o Docker Quickstart Terminal, isso fará com que a VM default seja criada no VirtualBox

  No DOS, dentro do diretório bigdata_docker, renomear o arquivo docker-compose_windows.yml para docker-compose.yml

    move docker-compose_windows.yml docker-compose.yml
  

  Executar o arquivo virtualbox_config.bat
  O arquivo bat cria/reacria a VM default com disco de até 100GB, 8GB de memória, drive do repo compartilhado como /d e todas as portas necessárias mapeadas
  
  OBS: se o ser driver raiz for diferente de C:, alterar o arquivo virutalbox_config.bat na parte indicada no comentário. A memória também pode ser alterada no local indicado.
  
  

• No Linux: Não é necessário alterar nem executar nada

No Windows abrir o Docker Quickstart Terminal, do Linux um terminal

      docker-compose up -d        

     docker image ls

     docker container ls

No Windows abrir o Docker Quickstart Terminal

     docker stop [nome do container]      

     docker stop $(docker ps -a -q)

     docker rm [nome do container]

     docker rm $(docker ps -a -q)         

     docker container inspect [nome do container]

     docker-compose up -d [nome do container]

     docker-compose up -d 

     docker container logs [nome do container] 

• HDFS http://localhost:50070
• Presto http://localhost:8080
• Hbase http://localhost:16010/master-status
• Mongo Express http://localhost:8081
• Kafka Manager http://localhost:9000
• Metabase http://localhost:3000
• Nifi http://localhost:9090
• Jupyter Spark http://localhost:8889
• Hue http://localhost:8888
• Spark http://localhost:4040

      docker exec -it datanode bash

      docker exec -it hbase-master bash

      docker exec -it datanode bash

      docker exec -it kafka bash

      jdbc:mysql://database/employees

      jdbc:hive2://hive-server:10000/default

      jdbc:presto://presto:8080/hive/default

Usuário: admin
Senha: admin

Usuário: [email protected]
Senha: bigdata123 

Usuário: root
Senha: secret

Usuário: root
Senha: root
Authentication Database: admin

Docker Hub

• https://zookeeper.apache.org/
• https://kafka.apache.org/
• https://nifi.apache.org/
• https://prestodb.io/
• https://spark.apache.org/
• https://www.mongodb.com/
• https://www.metabase.com/
• https://jupyter.org/
• https://hbase.apache.org/
• https://sqoop.apache.org/
• https://hadoop.apache.org/
• https://hive.apache.org/
• https://gethue.com/
• https://github.com/yahoo/CMAK
• https://www.docker.com/