Snowflake Openflow (관리형 데이터 통합, 커넥터, 2세대 배포)
Apache NiFi 기반의 관리형 데이터 통합 서비스 Openflow 의 배포 방식(Snowflake 배포와 BYOC), 배포와 런타임과 커넥터 개념, 2026년 9월에 GA 가 된 2세대 배포, 주요 커넥터, 비용과 운영 요령을 정리합니다.
Openflow 란
Openflow 는 Apache NiFi 를 바탕으로 한 Snowflake 관리형 데이터 통합 서비스입니다. 2024년에 인수한 Datavolo 의 기술이 바탕이고, 2025년 6월 Summit 에서 공개되었습니다. 데이터베이스 CDC, SaaS 앱, Kafka, 파일과 문서(SharePoint, Google Drive, Box 등)까지 정형과 비정형 데이터를 Snowflake 로 옮기는 파이프라인을 화면(캔버스)과 SQL 로 만듭니다.
| 시점 | 단계 |
|---|---|
| 2025-05-30 | Openflow GA (BYOC, AWS) |
| 2025-11-04 | Openflow Snowflake Deployments GA |
| 2026-09-08 | 2세대(gen 2) 배포와 런타임 GA, 다음 날 1세대 배포 새로 만들기 종료 |
| 2026-09-11 | 2세대 배포가 GCP 에서도 가능 |
| 2026-10-01 | 1세대 배포와 런타임을 2세대로 옮기는 마이그레이션 GA |
구성 요소
| 개념 | 뜻 |
|---|---|
| 배포(Deployment) | 데이터 흐름이 실제로 도는 곳. 배포 하나에 런타임 여러 개 |
| 런타임(Runtime) | 파이프라인을 담는 NiFi 실행 단위. 커넥터나 프로세서 흐름을 올림 |
| 커넥터(Connector) | 미리 만든 통합 묶음 (예: SQL Server CDC, Jira Cloud) |
| 컨트롤 플레인 | 런타임을 관리하고 관찰하는 화면과 API. Snowflake 가 운영 |
배포 방식
| 방식 | 데이터 플레인 위치 | 클라우드 | 과금 |
|---|---|---|---|
| Openflow Snowflake Deployment | Snowpark Container Services (Snowflake 안) | AWS, Azure, GCP 상용 리전 | 가동 시간과 컴퓨트 사용량 (Snowflake 크레딧) |
| Openflow BYOC | 고객 클라우드 계정 (VPC 안) | AWS 상용 리전 | Openflow 요금 + 고객 클라우드의 컴퓨트, 인프라, 저장 비용 |
- Snowflake Deployment 는 Snowflake 보안 모델 안에서 끝나 설치가 가장 간단합니다. 원천이 사설망에 있다면 PrivateLink 같은 사설 연결이 필요합니다.
- BYOC 는 민감한 데이터를 고객 망 안에서 먼저 처리하고 싶을 때 씁니다. 대신 VPC, 서브넷, IAM 을 직접 준비해야 합니다.
- 2026년 5월부터 BYOC 런타임별 비용 귀속이 가능해졌고, 2026 Summit 에서 사설 연결용 Data Connectivity Proxy 와 프로그래밍 API 가 발표되었습니다.
2세대(gen 2) 에서 달라진 것
2세대는 배포, 런타임, 커넥터를 SQL 로 관리하는 방식이 핵심입니다. 그래서 CI/CD 와 코드로 관리하기가 쉬워졌습니다. 2026-10 기준 모든 새 배포는 2세대이고, 2세대 커넥터 설정의 일부는 아직 PuPr 입니다. 1세대 배포는 마이그레이션 도구로 옮깁니다. 2026년 10월에는 외부에서 Openflow 로 데이터를 밀어 넣는 Openflow Endpoints 가 GA 가 되었습니다.
팁 새로 시작한다면 2세대로 만들고, 1세대가 이미 있다면 운영 중단 시간이 짧은 런타임부터 옮기면서 오프셋과 CDC 위치가 이어지는지 확인합니다.
주요 커넥터 (2026-10 기준)
| 원천 | 단계 |
|---|---|
| Oracle (XStream 기반 에이전트 없는 CDC) | GA (2026-02-27), 2026-05 CDB 의 여러 PDB 복제 |
| SQL Server CDC | GA (2026-08-05) |
| Jira Cloud | GA (2026-09-02) |
| Google BigQuery | Preview (2026-03) |
| HubSpot | Preview (2026-04) |
| PostgreSQL, MySQL CDC, Kafka, SharePoint, Google Drive 등 | 공식 커넥터 목록에서 단계 확인 |
커넥터 목록과 단계는 자주 바뀌므로 공식 Openflow 커넥터 페이지를 기준으로 합니다.
권한과 설정 흐름
- 계정 팀에 Openflow 사용을 요청합니다 (평가판 계정은 자동으로 켜지지 않음).
- ACCOUNTADMIN 이 배포와 런타임을 만들 권한을 가진 역할을 정합니다. 세분화된 Openflow 역할로 운영자와 개발자를 나눕니다.
- 배포를 만들고 런타임을 추가합니다. 런타임은 기본으로 Snowflake Managed Token 인증을 쓰고, BYOC 는 키 페어도 쓸 수 있습니다.
- 커넥터를 올리고 원천 접속 정보, 대상 데이터베이스와 스키마, 런타임 역할을 설정합니다.
- 원천 네트워크 접근을 열어 줍니다 (Snowflake Deployment 는 외부 액세스 통합과 네트워크 규칙).
Openflow 를 고를 때와 아닐 때
| 상황 | 추천 |
|---|---|
| Oracle, SQL Server 같은 DB 변경분을 계속 옮기기 | Openflow CDC 커넥터 |
| SaaS 앱 여러 개, 문서 저장소를 Cortex 검색용으로 | Openflow |
| 버킷에 떨어지는 파일 | Snowpipe 가 더 단순하고 쌈 |
| Kafka 토픽 그대로 | Kafka 커넥터 v4 또는 Openflow Kafka 커넥터 |
| 이미 Fivetran 같은 도구로 잘 돌고 있음 | 비용과 운영 부담을 비교한 뒤 결정 |
비용 요령
- Snowflake Deployment 는 런타임이 켜져 있는 시간만큼 과금되므로, 하루 한 번 도는 배치 커넥터는 런타임 크기를 작게 잡고 노드 수 자동 조정 범위를 좁힙니다.
- CDC 대상 테이블은 MERGE 가 잦아 대상 웨어하우스 크레딧도 함께 늘어납니다. 대상 테이블 적재 주기를 업무 요구에 맞춰 늘리면 효과가 큽니다.
- 비용은
METERING_HISTORY와METERING_DAILY_HISTORY의 Openflow 관련 서비스 종류로 확인합니다.
트러블슈팅
증상: CDC 커넥터가 처음 스냅샷 뒤로 변경분을 따라가지 못합니다.
원인: 원천 DB 의 로그 보존 기간이 짧아 커넥터가 읽기 전에 로그가 지워졌거나, 런타임 노드가 부족합니다.
해결: 원천의 로그 보존(예: Oracle 아카이브 로그, SQL Server CDC 정리 작업 주기)을 늘리고 런타임 최대 노드를 늘립니다. 따라잡지 못하면 해당 테이블만 다시 스냅샷합니다.
증상: Snowflake Deployment 런타임이 원천에 접속하지 못합니다.
원인: 외부 액세스 통합에 원천 호스트와 포트가 없거나, 원천이 사설망에 있습니다.
해결: 네트워크 규칙에 호스트를 추가하고, 사설망이면 PrivateLink 계열 사설 연결을 구성합니다.