KT Cloud는 크롬(Chrome), 엣지(Edge) 브라우저에 최적화 되어 있습니다.
인터넷 익스플로러(IE)에서는 사용상 불편할 수 있으므로 크롬이나 엣지에서 접속해 주세요!

Batch

Apache Airflow 관리형 Batch 서비스

  • 상품상세
  • 요금정보
  • Q&A

서비스 개요

Batch 서비스는 Airflow를 제공및 관리하여 사용자가 Batch 작업을 처리할 수 있는 환경을 구성합니다.
작업을 관리하는 Scheduler와 DB에 대해 이중화가 적용되어 있으며, 자동 Failover를 통해 안정적인 서비스 구조를 제공합니다.
작업 규모에 따라 Worker 노드들은 자동으로 10대까지 부하에 따른스케일링을 수행합니다.

구성도

서비스 특징

  1. 1 쉽고 간편한 구축

    • 콘솔에서 입력한 사항에 따라 Airflow 설정, 구성 환경 등을 자동 구축
    • Airflow, MQ, DB, Worker 인프라, 네트워크 구성 및 연동
  2. 2 High Availabilty

    • Schduler / DB에 대해 이중화 및 자동 Fail-over 기능 제공
    • 워크플구성 컴포넌트별 상태 조회 기능 제공
    • Worker 그룹 기반 작업 분산 처리
  3. 3 유연한 작업 처리

    • 오토스케일링 그룹으로 워크플로 처리 규모에 따라 Woker 사양 자동 조절
    • active-active 스케줄러로 부하 분산

서비스 사용법

1. 설정에 필요한 파라미터 입력

2. 서비스 생성

3. 웹 접속 후 DAG 실행

서비스 주요 기능

  • 자동화 Fail-over를 통한 안정적인 서비스 제공

    • Airflow와 구성 데이터베이스에 대해 Master / slave 구조로
      자동 Fail-Over 기능을 제공합니다.
    • Master 장애시, slave Scheduler로 서비스가 전환됩니다.
  • Autoscaling 기반 워크플로우 부하 관리

    • 오토스케일링 그룹으로 구성된 Worker VM들을 통해 Airflow에서
      발생한 작업들을 분산처리합니다.
    • 작업량이 많아지거나 적어지면 자동으로 worke가 증감되며,
      작업 결과는 Airflow에 수집됩니다.

전하고 싶은 포스트

[상품 소개] KT DX Platform 소개 : 상세 소개

[상품 소개] KT DX Platform 소개 : 인프라 관점

[KT Cloud 발표 영상] 국내 DaaS 시장 현황 및 코로나19 환경에서 업무혁신 전략

[상품 소개] KT DX Platform 소개 : 상세 소개

[상품 소개] KT DX Platform 소개 : 인프라 관점

클라우드 콘솔로그인 / 회원가입
클라우드 콘솔은 PC에서 접근하면 훨씬 편리합니다. 모바일에서 계속 이동하시겠습니까?