Giter Club home page Giter Club logo

fc-bigdata's Introduction

클라우드를 활용한 데이터 파이프라인 구축

: 클라우드를 활용한 데이터 파이프라인 구축 강의 자료

목적 :

클라우드에서 데이터 분석환경을 가격 효율적으로 구축하기 위한 기초 교육

알면 좋은 것들

  • Spark
  • Scala 언어
  • AWS 환경

이해 했다면 더 했으면 하는것들

  • Docker
  • Kubernetes
  • IaC (infrastructure as code) 개발 : 인프라를 코딩으로 하기
  • 분석가가 어떻게 하면 손쉽게 분석할 수 있을까? 에 대한 고민
  • Airflow - Scheduler

Repository 구조

.
├── logs                    # 실습을 위한 App log 데이터
├── notebook                # Spark 실습용 notebook 
├── ods                     # Operation Data Store 로 운영(OLTP)에서 사용하는 상품 Master DB Table 
├── script                  # 실습을 위한 shell script 
├── shell                   # EMR 자동화를 위한 shell
├── test                   # Api Gateway 실습을 위한 Test 프로그램 (Java 로 짜여 있고 Jar형태로 제공됨 
└── README.md

강이가 아니더라도 클라우드에서 데이터 관련된 내용 질의 응답은 아래 게시판에서

Q/A 문의하기

fc-bigdata's People

Contributors

njkwon avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.