Agent Platform (5) 썸네일형 리스트형 [GCP] Dataflow로 실시간 대시보드를 위한 스트리밍 데이터 파이프라인 만들기 작업 1. BigQuery 데이터 세트 만들기이 작업에서는 taxirides 데이터 세트를 만듭니다. 데이터 세트는 두 가지 옵션 즉, Google Cloud Shell과 Google Cloud 콘솔 중 하나를 사용해 만들 수 있습니다.이 실습에서는 뉴욕시 택시 및 리무진 조합의 공개 데이터 세트에서 추출한 데이터를 사용합니다. 쉼표로 구분된 작은 데이터 파일을 사용해 택시 데이터의 주기적인 업데이트를 시뮬레이션합니다.BigQuery는 서버리스 데이터 웨어하우스입니다. BigQuery의 테이블은 데이터 세트로 구성되어 있습니다. 이 실습의 택시 데이터는 독립형 파일에서 Dataflow를 통해 이동하여 BigQuery에 저장됩니다. 이 구성을 사용하면 소스 Cloud Storage 버킷에 저장된 새 데이터.. [GCP] Apache Spark용 서버리스를 사용하여 BigQuery 로드하기 작업 1. 환경 구성 작업 완료먼저 Apache Spark용 서버리스 워크로드 실행을 지원하도록 몇 가지 환경 구성 작업을 수행하겠습니다.Cloud Shell에서 다음 명령어를 실행하여 비공개 IP 액세스를 사용 설정합니다.gcloud compute networks subnets update default --region=REGION --enable-private-ip-google-access 다음 명령어를 사용하여 스테이징 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsutil mb -p PROJECT_ID gs://PROJECT_ID 다음 명령어를 사용하여 BigQuery에서 테이블을 만들고 로드하는 동안 임시 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsuti.. [GCP] Dataform에서 SQL 워크플로 만들기 및 실행 작업 1. Dataform 저장소 만들기콘솔에서 탐색 메뉴를 펼친 다음 BigQuery > Dataform을 선택합니다.저장소 만들기를 클릭합니다.저장소 만들기 페이지에서 다음을 수행합니다.저장소 ID 필드에 quickstart-repository를 입력합니다.리전 목록에서 REGION을(를) 선택합니다.만들기를 클릭합니다.저장소가 만들어지면 Dataform 서비스 계정이 표시됩니다. 추후 필요한 권한을 할당할 때 사용할 수 있도록 복사해 두세요.저장소로 이동을 클릭합니다.참고: API 요청과 관련한 권한 거부 오류가 발생하면 몇 분 기다린 다음, 저장소를 다시 생성하세요. 작업 2. Dataform 개발 작업공간 만들기 및 초기화Dataform 페이지에서 방금 만든 quickstart-repositor.. [GCP] Lakehouse: Qwik Start Lakehouse는 멀티 클라우드 스토리지와 개방형 형식 전반에서 균일하게 세분화된 액세스 제어를 제공하여 데이터 웨어하우스 및 레이크에 대한 데이터 액세스를 간소화하는 통합 스토리지 엔진입니다.Lakehouse는 BigQuery의 세분화된 행 및 열 수준 보안을 Amazon S3, Azure Data Lake Storage Gen2, Google Cloud Storage와 같은 데이터 상주 객체 스토어의 테이블로 확장합니다. Lakehouse는 액세스 위임을 통해 테이블 액세스를 기본 클라우드 스토리지 데이터에서 분리합니다. 이 기능을 사용하면 테이블에 대한 전체 액세스 권한을 제공하지 않고도 조직 내 사용자 및 파이프라인에 행 및 열 수준의 액세스를 안전하게 부여할 수 있습니다.Lakehouse 테이.. [GCP] Datastream: BigQuery로 PostgreSQL 복제 활성 계정 이름 목록 표시gcloud auth listACTIVE: *ACCOUNT: student-03-6fa3524d3040@qwiklabs.netTo set the active account, run: $ gcloud config set account `ACCOUNT`프로젝트 ID 목록 표시.gcloud config list project[core]project = qwiklabs-gcp-02-48ffbd2fb025gcloud 전체 문서는 Google Cloud에서 gcloud CLI 개요 가이드 참고 1. 복제를 위한 데이터베이스 만들기Datastream 복제를 위한 PostgreSQL용 Cloud SQL 데이터베이스 준비Cloud SQL 데이터베이스 만들기다음 명령어를 실행하여 Cloud .. 이전 1 다음
