서비스 개요

KT Cloud BigData는 빅데이터 활용에 필요한 핵심 기능(수집, 저장, 조회/처리, 운영(보안), 분석)을 하나의 솔루션으로 담아낸 ALL-IN-ONE 빅데이터 솔루션 입니다. KT Cloud Big data은 대용량 데이터의 저장 및 활용에 적합한 HDFS를 기반으로 관리와 개발에 필요한 UI를 함께 제공합니다.

서비스 특장점

KT Cloud Big data 서비스 특장점
ALL-IN-ONE 솔루션
  • 빅데이터 활용에 필요한 핵심 기능(수집,저장,조회,처리,운영,보안,분석)을 하나의 솔루션으로 구현
  • RDBMS, System Logs, Machine Logs 등 모든 정형, 비정형 데이터에 대한 통합 저장 및 처리 가능
빅데이터 운영 편의
  • 직관적인 GUI 기반 사용자 편의성 제공
  • 기존 시스템과 유연한 상호 운영성
  • 직관적인 모니터링 기능
  • SQL 사용을 통한 구현 난이도 최소화
편리한 관리 기능
  • 데이터 암호화 및 접근 제어
  • 작업관리 & 스케쥴링
  • 타 시스템 연동 호환성
  • GS 인증 소프트웨어

구성도

구성도

서비스 주요 기능

  • Workflow
    • 개발 편의성 향상을 위한 쿼리툴 형태의 I/F
    • SQL로 데이터를 처리할 수 있는 Unified SQL Engine 제공
    • SQL 개발과 관리, DB설계, 생성, 유지를 위한 통합 환경
  • Workbench
    • JOB 개발/실행/관리 환경 제공
    • 프로젝트/JOB 단위의 관리 기능 제공
    • SQL을 통한 Rule Check & Filtering, Column Value 치환 등의 작업 가능
    • 순차처리가 필요한 여러 형태의 Job 들을 손쉽게 구성, 저장 및 실행
  • 데이터 암호화 및 접근 제어
    • 사용자 정의 ROLE 생성 기능 제공
    • 테이블 생성시 칼럼별 암호화 여부 지정 기능 제공
    • 사용자 로그인, 생성, 권한 변경 이력 조회
    • 국제 표준 256비트 SEED Block 암호화 기본 지원
  • 모니터링
    • 각 시스템에서 제공하는 Metric 정보 제공
    • 클러스터 상태/리소스 정보 모니터링
    • 전체 시스템 Metric log 정보 제공
  • 데이터 수집
    • 다양한 유형의 정형, 비정형, 반정형 데이터 수집
    • GUI상에서 수집 작업 등록, 관리, 삭제, 수행 지원
    • 수집 프로토콜 제공 (JDBC, SSH, SFTP, FTP, Rsync, TCP, UDP, SNMP 등)
    • 다양한 포맷 지원을 위한 Plug-in 구조의 확장성을 보장하는 전처리 기능 제공
  • 데이터 저장
    • Hadoop 2.7 (Yarn)기반 데이터 저장 및 처리 최적화
    • 3-replication을 통한 데이터 안정성
    • 저장 효율화를 위한 압축 지원
    • 분석가를 위한 Working Area 제공
    • 컬럼 단위 암/복호화 설정
  • 데이터 처리/조회
    • Hive 기반 표준 SQL 처리 제공으로 개발 편의성 향상
    • HDFS/NoSQL 통합 SQL 인터페이스 제공
    • 다양한 사용자 정의 함수(UDF)제공
    • GUI 기반 SQL 개발 도구 제공
  • 타 시스템 연동
    • 다양한 분석을 지원하기 위한 분석 솔루션과의 연동 지원(R/ Python / SPSS / SAS 등)
    • 데이터 분석결과를 쉽게 이해할 수 있도록 다양한 BI툴과의 유연한 연계 지원 (MSTR / Tableau / spotfire 등)
    • 저장된 데이터를 직접 조회 하거나 파일로 추출, 전송할 수 있는 기능 제공 (file export / DB file export)

활용 사례

KT Cloud BigData 활용 사례

구성도

구성도

주요 Q&A

  • QKT Cloud BigData 서비스 생성은 어떻게 하나요?
    • Kt Cloud 포탈에서 상품을 신청하면 클라우드 콘솔에 VM들이 생성됩니다. 01번 VM의 8000 포트를 포트포워딩하고 해당 포트의 설치 화면으로 접근하여 생성된 02~06번 VM들의 내부주소들을 입력하고 ‘Save changes’를 클릭하시면 설치가 시작됩니다.
    • 설치가 완료되면 설치과정을 보여주던 Logs 화면이 Restart 화면으로 전환되며 01번 VM의 8080 포트를 포트포워딩하고 해당 포트의 KT Cloud BigData 화면으로 접근하여 화면에 표기된 초기 ID와 PASSWORD를 입력하시면 서비스 대시보드에 접속하실 수 있습니다.
  • Q용량을 추가하거나 줄이고 싶은 경우는 어떻게 해야 하나요?
    • 용량의 변경은 사용자 계획에 따라 신규 클러스터를 생성하고 데이터를 이전 하셔야 합니다.
    • 신규로 상품을 신청 후 VM이 생성되면 설치 화면에 접속하기 전에 VM들의 DATADISK들을 분리 후 계획한 용량에 맞는 디스크를 추가해 주시면 됩니다.
    • 대규모 클러스터 구축이나 TB ~ 수 PB의 데이터 저장과 처리에 대한 문의는 고객센터를 통해 문의주세요.
  • Q사용중인 서비스를 백업하고 복구하는 것은 어떻게 하나요?
    • 백업은 DATA DISK를 스냅샷을 생성하는 것으로 가능합니다. 클러스터 서버간 동기화 유지를 위해 서버들을 모두 정지 후 스냅샷을 생성해 주세요.
    • 복구는 신규 상품 신청을 통해 클러스터를 새로 생성하여 설치 한 후, DATADISK를 이전에 생성해 놓은 스냅샷으로 교체하여 이루어 집니다. 전체 VM들의 디스크를 서버 번호에 맞게 스냅샷으로 교체하고 설치 화면에서 ‘Restart’를 클릭해 주세요.
  • Q사용자 추가와 접근 제어는 어떻게 합니까?
    • KT Cloud BigData 화면의 [Administration] > [Users] 메뉴에서 ‘Create User’를 클릭하시면 사용자를 새로 생성 할 수 있습니다.
    • KT Cloud BigData 화면의 [Administration] > [Role] 메뉴에서 새로운 Role을 추가하고 리소스별 권한을 부여할 수 있습니다.
    • 1번 VM의 6080 포트를 포트포워딩하고 해당 포트의 Ranger 화면으로 접속하여 각 서비스와 Hive Table 또는 컬럼 단위의 접근 권한을 부여할 수 있습니다.
  • Q모니터링은 어떻게 합니까?
    • kt Cloud BigData 콘솔의 서버 모니터링 탭에서 각 VM의 메트릭을 확인 할 수 있습니다.
    • KT Cloud Big data 화면의 [Cluster] 메뉴에서 각 서비스, 호스트별 메트릭과 로그를 볼 수 있습니다.
    • 1번 VM의 80 포트를 포트포워딩하고 해당 포트 /ganglia/ 의 Ganglia 화면으로 접속하여 각 VM들의 차트화된 메트릭을 볼 수 있습니다.
  • Q서비스에 대한 가이드는 어디에서 볼 수 있나요?
    • 1번 VM의 8080 포트를 포트포워딩하고 해당 포트의 KT Cloud Big data 화면으로 접근하여 설정하신 ID와 PASSWORD를 입력하시면 서비스 화면에 접속하실 수 있습니다.
    • KT Cloud BigData 서비스 화면의 Document 메뉴에서 User Guide, Tutorial Guide, Hive UDF Guide, Monitoring Guide를 선택하여 클릭하시면 해당 메뉴얼을 볼 수 있습니다.