# 환경변수 설정 (필수)
export AIRFLOW_HOME=`pwd`/airflow


# Redis 설치 (Docker)
# CeleryExecutor를 사용할 때 설치
docker network create redis-net
docker run --name airflow_redis -p 6379:6379 --network redis-net -d redis redis-server --appendonly yes


# MySQL Server 설치 (Ubuntu)
# Metadata용 DB (PostgreSQL을 사용한다면 그에 맞게 설치)
sudo apt-get update
sudo apt-get install mysql-server
sudo apt-get install python3-dev libmysqlclient-dev gcc

sudo ufw allow mysql
sudo systemctl start mysql
sudo systemctl enable mysql


# Python venv 설치 및 라이브러리 설치
python3 -m venv venv
source venv/bin/activate

# Docker가 아닌 직접 설치 시에는 requirements.txt에 Airflow 관련 패키지가 있어야함.
pip install -r requirements.txt


# Airflow 실행
# 정상적으로 실행이 되면 $AIRFLOW_HOME 경로에 각 프로세스의 .pid가 생성됨 
airflow webserver -p 8080 -D
airflow scheduler -D
airflow celery worker -D
airflow celery flower -D


# Airflow 중지 
# kill [pid]

# Docker 설치 (Ubuntu)
sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common    # 필수 패키지 설치

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -    # GPG Key 인증


# Docker Repository 등록
sudo add-apt-repository \
"deb [arch=$(dpkg --print-architecture)] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

sudo systemctl enable docker 
sudo usermod -aG docker $USER


# Version 확인
docker -v


# Docker Compose 설치 (Ubuntu)
sudo curl -L "https://github.com/docker/compose/releases/download/v2.0.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
docker-compose -v


# Airflow 실행 
cd docker-airflow   # Airflow 프로젝트 디렉토리
docker network create airflow
docker-compose build
docker-compose up -d        # PC 1에서 모든걸 실행하고자 할 때 
docker-compose -f docker-compose-webserver.yml up -d    # Webserver, Scheduler, Redis, Flower만 실행하고자 할 때
docker-compose -f docker-compose-worker.yml up -d       # Worker만 실행하고자 할 때 


# 프로세스 확인
docker ps