본문 바로가기
데이터

Snowflake - #1. Overview

by 네모선장7 2021. 6. 28.

1. Key Concepts

- 특정 벤더에 종속적이 않은(Cloud-Agnostic) 클라우드 기반 SaaS 데이터 플랫폼
- 모든 서비스는 퍼블릭 클라우드 인프라 위에서 동작 (AWS, GCP, Azure 모두 지원하나 벤더별로 지원 리전은 다름.)
- 프라이빗 환경 이나 온프레미스 환경 지원 하지 않음

 

2. What is Snowflake?

데이터 시스템 통합:
- 일반적으로 데이터가 어디에 있고, 어떻게 쓰이는 지에 따라 시스템이 분리되어 있었음.
- Data Lake, Data Warehouse, Data Mart 등으로 나누지 않고 이를 하나의 시스템으로 통합하는 것을 철학으로 함.

[Legacy]


[Snowflake]

 

3. Data Intergation

- Cloud Storage/Web/CLI/Snowpipe/Connector/Kafka
- 정형/반정형 데이터 

 

4. Deployment

1) 클라우드 벤더 + 리전 선택

2) Snowflake 주소 발급

3) Snowflake 쿼리 실행 창

4) Architecture in VPC

- Data Storage: 오브젝트 스토리지 + Micro-partitions
- Virtual Warehouse:  VM으로 여러 클러스터를 이루고 있음. 쿼리를 수행.

- Cloud Service: 여러개의 서비스로 이루어져있다. VWH/쿼리 관리, 메타 데이터 저장, 인증

 

5) Multi Region / Multi Cloud 데이터 공유

- ORGADMIN 을 통한 관리

- 읽기 전용 계정(Read Account) 발급