[GCP] Dataform에서 SQL 워크플로 만들기 및 실행

 

작업 1. Dataform 저장소 만들기

1. 콘솔에서 탐색 메뉴를 펼친 다음 BigQuery > Dataform을 선택합니다.
2. 저장소 만들기를 클릭합니다.
3. 저장소 만들기 페이지에서 다음을 수행합니다.
   1. 저장소 ID 필드에 quickstart-repository를 입력합니다.
   2. 리전 목록에서 REGION을(를) 선택합니다.
   3. 만들기를 클릭합니다.
   4. 저장소가 만들어지면 Dataform 서비스 계정이 표시됩니다. 추후 필요한 권한을 할당할 때 사용할 수 있도록 복사해 두세요.
   5. 저장소로 이동을 클릭합니다.

참고: API 요청과 관련한 권한 거부 오류가 발생하면 몇 분 기다린 다음, 저장소를 다시 생성하세요.

 

작업 2. Dataform 개발 작업공간 만들기 및 초기화

1. Dataform 페이지에서 방금 만든 quickstart-repository 저장소를 클릭합니다.
2. 개발 작업공간 만들기를 클릭합니다.
3. 개발 작업공간 만들기 창에서 다음을 수행합니다.
   1. 작업공간 ID 필드에서 quickstart-workspace를 입력합니다.
   2. 만들기를 클릭합니다.
4. 작업공간이 만들어지면 quickstart-workspace 개발 작업공간을 클릭합니다.
5. 작업공간 초기화를 클릭합니다.

 

작업 3. 뷰를 정의하기 위한 SQLX 파일 만들기

이 섹션에서는 나중에 테이블의 데이터 소스로 사용할 뷰를 정의합니다.

1. 파일 창에서 definitions 옆에 있는 더보기 메뉴를 클릭합니다.
2. 파일 만들기를 클릭합니다.
3. 새 파일 만들기 창에서 다음을 수행합니다.
   1. 파일 경로 추가 필드에 definitions/quickstart-source.sqlx를 입력합니다.
   2. 파일 만들기를 클릭합니다.

뷰 정의하기

1. 파일 창에서 definitions 폴더를 펼칩니다.
2. quickstart-source.sqlx를 클릭합니다.
3. 파일에 다음 코드 스니펫을 입력합니다.

4. config {
     type: "view"
   }
   
   SELECT
     "apples" AS fruit,
     2 AS count
   UNION ALL
   SELECT
     "oranges" AS fruit,
     5 AS count
   UNION ALL
   SELECT
     "pears" AS fruit,
     1 AS count
   UNION ALL
   SELECT
     "bananas" AS fruit,
     0 AS count

 

작업 4. 테이블 정의를 위한 SQLX 파일 만들기

다음 섹션에서는 SQLX 파일에 테이블 유형을 정의한 후 SELECT 문을 작성하여 동일한 파일 내에서 테이블 구조를 정의합니다.

1. 파일 창에서 definitions 옆에 있는 더보기 메뉴를 클릭한 다음 파일 만들기를 선택합니다.
2. 파일 경로 추가 필드에 definitions/quickstart-table.sqlx을 입력합니다.
3. 파일 만들기를 클릭합니다.

테이블 유형, 구조, 종속 항목 정의하기

1. 파일 창에서 definitions 디렉터리를 펼칩니다.
2. quickstart-table.sqlx를 선택한 후, 다음 테이블 유형을입력하고 SELECT 문을 입력합니다.

3. config {
     type: "table"
   }
   
   SELECT
     fruit,
     SUM(count) as count
   FROM ${ref("quickstart-source")}
   GROUP BY 1

참고: 컴파일된 쿼리 섹션에 오류 메시지가 표시될 수 있습니다. 메시지를 무시하고 다음 단계를 진행하여 워크플로를 실행하세요.

 

작업 5. BigQuery에 Dataform 액세스 권한 부여하기

1. Google Cloud 콘솔의 탐색 메뉴()에서 IAM 및 관리자 > IAM을 선택합니다.
2. 주 구성원별로 보기를 클릭합니다. 그런 다음 액세스 권한 부여를 클릭합니다.
3. 새 주 구성원 필드에 Dataform 서비스 계정 ID를 입력합니다.
4. 역할 선택 드롭다운 목록에서 BigQuery 작업 사용자 역할을 선택합니다.
5. 다른 역할 추가를 클릭한 다음 역할 선택 드롭다운 목록에서 BigQuery 데이터 편집자 역할을 선택합니다.
6. 다른 역할 추가를 클릭한 다음 역할 선택 드롭다운 목록에서 BigQuery 데이터 뷰어 역할을 선택합니다.
7. 저장을 클릭합니다.

 

 

작업 6. 워크플로 실행하기

1. 콘솔에서 탐색 메뉴 > BigQuery > Dataform으로 이동합니다.
2. quickstart-repository를 클릭하여 저장소를 엽니다.
3. quickstart-workspace를 클릭하여 개발 작업공간을 엽니다.
4. quickstart-workspace 페이지에서 실행 시작을 클릭합니다.
5. 작업 실행을 클릭합니다.
6. 모든 작업 탭을 클릭합니다.
7. 실행 창에서 실행 시작을 클릭합니다.
8. Dataform은 기본 저장소 설정을 사용하여 dataform이라는 BigQuery 데이터 세트에서 워크플로 콘텐츠를 만듭니다.

 

실행 로그 보기

1. quickstart-workspace 페이지에서 실행을 클릭하여 '실행' 창을 엽니다.
2. 실행 세부정보를 보려면 최근 실행을 클릭합니다.