데이터 물길을 트는데 공부한 내용을 끄적이는 곳

회사에서 클라우드 솔루션을 도입하면서 지속적으로 데이터를 중계하는 작업을 모니터링하고, 이를 효율적으로 전송하는 방법에 대해서 매일 고민하는 것 같다. 현재는 수습이지만, 반년이 지나고, 일년이 지나도 운영 업무에만 머무르기 보다는 좀 더 솔루션 자체를 효율적으로, 더 빠르게 업무를 진행하기(비밀 때문에, 업무를 공개하기는 어렵다.) 위해서 데이터 스케줄링 프로세스를 증가시키는 방법에 대해서 고민하기 위해서, 데이터 엔지니어링 업무에 대해서 공부하려고 한다.

REF)

빅데이터를 지탱하는 기술 https://medium.com/byungkyu-ju/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-%EC%A7%80%ED%83%B1%ED%95%98%EB%8A%94-%EA%B8%B0%EC%88%A0-1-32f6cb4ab8b0

데이터 엔지니어링 업무에 대해서 처음으로 입문하게 된 과정은 아무래도, 쓰는 기술 중 일부가 데이터 엔지니어링 업무 중 하나여서, 이에 대한 디테일에 대한 공부로부터 시작되었다. 데이터 엔지니어링에 대한 큰 흐름을 이해할 수 있었던 article이라 끄적인다.

Apache fakfa ref> zookeper https://devbksheen.tistory.com/entry/Kafka-Broker-Zookeeper

fafka vs bigquery https://medium.com/myheritage-engineering/kafka-to-bigquery-load-a-guide-for-streaming-billions-of-daily-events-cbbf31f4b737

what is Data pipline?-IBM https://www.ibm.com/topics/data-pipeline