ClickHouse 통합
모든 Managed Postgres 인스턴스에는 ClickHouse 서비스로의 CDC 기능이 기본 제공됩니다. 이를 통해 Postgres 인스턴스의 일부 또는 전체 데이터를 ClickHouse로 이동하고, Postgres의 데이터 변경 사항이 ClickHouse에 지속적이고 거의 실시간으로 반영되도록 할 수 있습니다. 이는 내부적으로 ClickPipes에 의해 동작합니다.
이 기능을 사용하려면 Postgres 인스턴스 사이드바에서 ClickHouse Integration을 클릭합니다.
계속 진행하기 전에 Postgres 서비스가 ClickPipes 서비스에서 접근 가능한지 확인하십시오. 기본적으로는 이렇게 설정되어 있지만, IP 접근을 제한해 둔 경우 ClickHouse 서비스가 위치한 리전에 따라 이 목록에 있는 일부 소스 IP에 대해 접근을 허용해야 할 수 있습니다.
Replicate data in ClickHouse를 클릭하여 ClickPipe 설정을 시작합니다.
복제 서비스 구성
복제 설정을 입력합니다:
- Integration name: 이 ClickPipe의 이름
- ClickHouse service: 기존 ClickHouse Cloud 서비스를 선택하거나 새로 생성
- Postgres database: 복제할 소스 데이터베이스
- Replication method: 다음 중 하나를 선택:
- Initial load + CDC: 기존 데이터를 가져오고 이후 변경 사항으로 테이블을 계속 최신 상태로 유지합니다(권장).
- Initial load only: 기존 데이터의 일회성 스냅샷만 수행하며 이후 업데이트는 없습니다.
- CDC only: 초기 스냅샷을 건너뛰고 이후의 새로운 변경 사항만 캡처합니다.
계속하려면 Next를 클릭합니다.
복제 설정 구성
데이터가 복제되는 방식을 세부 조정합니다:
- Sync interval (seconds): Postgres에서 변경 사항을 가져오는 주기(기본값: 60)
- Parallel threads for initial load: 초기 스냅샷 중 사용하는 스레드 수(기본값: 4)
- Pull batch size: 복제 중 배치마다 가져오는 행 수(기본값: 100000)
- Snapshot number of rows per partition: 초기 스냅샷 중 파티션당 행 수(기본값: 100000)
- Snapshot number of tables in parallel: 동시에 스냅샷을 수행하는 테이블 수(기본값: 1)
계속하려면 Next를 클릭합니다.
복제할 테이블 선택
대상 데이터베이스를 선택하고 복제할 테이블을 선택합니다:
- Destination database: 기존 ClickHouse 데이터베이스를 선택하거나 새로 생성
- Prefix default destination table names with schema name: 이름 충돌을 피하기 위해 Postgres 스키마를 접두사로 추가
- Preserve NULL values from source: 기본값으로 변환하지 않고 NULL 값을 유지
- Remove deleted rows during merges: ReplacingMergeTree 테이블의 경우, 백그라운드 머지 중에 삭제된 행을 물리적으로 제거
스키마를 펼친 뒤 복제할 개별 테이블을 선택합니다. 대상 테이블 이름과 컬럼 설정을 사용자 정의할 수도 있습니다.
Replicate data to ClickHouse를 클릭하여 복제를 시작합니다.
ClickPipe 모니터링
ClickPipe가 시작되면 동일한 메뉴에 목록 형태로 표시됩니다. 모든 데이터의 초기 스냅샷은 테이블 크기에 따라 시간이 걸릴 수 있습니다.
세부 상태를 확인하고, 진행 상황을 모니터링하며, 오류를 확인하고, ClickPipe를 관리하려면 통합 이름을 클릭하십시오. ClickPipe가 가질 수 있는 다양한 상태를 이해하려면 Lifecycle of a Postgres ClickPipe를 참조하십시오.
