본문 바로가기

GCP

(31)

[GCP] Dataflow로 실시간 대시보드를 위한 스트리밍 데이터 파이프라인 만들기 작업 1. BigQuery 데이터 세트 만들기이 작업에서는 taxirides 데이터 세트를 만듭니다. 데이터 세트는 두 가지 옵션 즉, Google Cloud Shell과 Google Cloud 콘솔 중 하나를 사용해 만들 수 있습니다.이 실습에서는 뉴욕시 택시 및 리무진 조합의 공개 데이터 세트에서 추출한 데이터를 사용합니다. 쉼표로 구분된 작은 데이터 파일을 사용해 택시 데이터의 주기적인 업데이트를 시뮬레이션합니다.BigQuery는 서버리스 데이터 웨어하우스입니다. BigQuery의 테이블은 데이터 세트로 구성되어 있습니다. 이 실습의 택시 데이터는 독립형 파일에서 Dataflow를 통해 이동하여 BigQuery에 저장됩니다. 이 구성을 사용하면 소스 Cloud Storage 버킷에 저장된 새 데이터..

[GCP] Apache Spark용 서버리스를 사용하여 BigQuery 로드하기 작업 1. 환경 구성 작업 완료먼저 Apache Spark용 서버리스 워크로드 실행을 지원하도록 몇 가지 환경 구성 작업을 수행하겠습니다.Cloud Shell에서 다음 명령어를 실행하여 비공개 IP 액세스를 사용 설정합니다.gcloud compute networks subnets update default --region=REGION --enable-private-ip-google-access 다음 명령어를 사용하여 스테이징 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsutil mb -p PROJECT_ID gs://PROJECT_ID 다음 명령어를 사용하여 BigQuery에서 테이블을 만들고 로드하는 동안 임시 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsuti..

[GCP] Dataform에서 SQL 워크플로 만들기 및 실행 작업 1. Dataform 저장소 만들기콘솔에서 탐색 메뉴를 펼친 다음 BigQuery > Dataform을 선택합니다.저장소 만들기를 클릭합니다.저장소 만들기 페이지에서 다음을 수행합니다.저장소 ID 필드에 quickstart-repository를 입력합니다.리전 목록에서 REGION을(를) 선택합니다.만들기를 클릭합니다.저장소가 만들어지면 Dataform 서비스 계정이 표시됩니다. 추후 필요한 권한을 할당할 때 사용할 수 있도록 복사해 두세요.저장소로 이동을 클릭합니다.참고: API 요청과 관련한 권한 거부 오류가 발생하면 몇 분 기다린 다음, 저장소를 다시 생성하세요. 작업 2. Dataform 개발 작업공간 만들기 및 초기화Dataform 페이지에서 방금 만든 quickstart-repositor..

[GCP] Lakehouse: Qwik Start Lakehouse는 멀티 클라우드 스토리지와 개방형 형식 전반에서 균일하게 세분화된 액세스 제어를 제공하여 데이터 웨어하우스 및 레이크에 대한 데이터 액세스를 간소화하는 통합 스토리지 엔진입니다.Lakehouse는 BigQuery의 세분화된 행 및 열 수준 보안을 Amazon S3, Azure Data Lake Storage Gen2, Google Cloud Storage와 같은 데이터 상주 객체 스토어의 테이블로 확장합니다. Lakehouse는 액세스 위임을 통해 테이블 액세스를 기본 클라우드 스토리지 데이터에서 분리합니다. 이 기능을 사용하면 테이블에 대한 전체 액세스 권한을 제공하지 않고도 조직 내 사용자 및 파이프라인에 행 및 열 수준의 액세스를 안전하게 부여할 수 있습니다.Lakehouse 테이..

[GCP] Datastream: BigQuery로 PostgreSQL 복제 활성 계정 이름 목록 표시gcloud auth listACTIVE: *ACCOUNT: student-03-6fa3524d3040@qwiklabs.netTo set the active account, run: $ gcloud config set account `ACCOUNT`프로젝트 ID 목록 표시.gcloud config list project[core]project = qwiklabs-gcp-02-48ffbd2fb025gcloud 전체 문서는 Google Cloud에서 gcloud CLI 개요 가이드 참고 1. 복제를 위한 데이터베이스 만들기Datastream 복제를 위한 PostgreSQL용 Cloud SQL 데이터베이스 준비Cloud SQL 데이터베이스 만들기다음 명령어를 실행하여 Cloud ..

[Google Cloud] Vertex AI 활용 Prompt Design Vertex AI Studio 접속1. Google Cloud 콘솔 로그인 ☞ GCP Console2. Vertex AI Studio 접속 ☞ Verex AI StudioVertex AI Studio를 사용하면 생성형 AI 모델을 신속하게 테스트하고 맞춤 설정하여 Application 에서 활용 가능Google Cloud 콘솔에서 Gemini 멀티모달을 이용해 이미지 분석 및 프롬프트를 설계하고 대화 생성 가능API나 Python SDK를 활용하지 않아도 직관적인 UI를 통해 모든 기능 액세스 가능 Gemini 이미지 분석 도구 빌드1. GCP 콘솔에서 탐색 메뉴 > 인공지능 > Vertex AI > Vertex AI Studio > 개요 이동 2. Gemini 기반 멀티모달에서 Gemini 사용해보기 ..

[Google Cloud] Vertex AI Gemini API 및 Python SDK 실습 Vertex AI Gemini APIVertex AI Gemini API는 여러 Gemini 모델과의 상호작용을 위한 통합 인터페이스를 제공함.현재 Gemini API에서 사용할 수 있는 모델Gemini 1.0 Pro 모델(gemini-1.0-pro): 자연어 작업, 멀티턴 텍스트 및 코드 채팅, 코드 생성을 처리하도록 설계된 모델Gemini 1.0 Pro Vision 모델(gemini-1.0-pro-vision): 멀티모달 프롬프트를 지원하는 모델로, 프롬프트 요청에 텍스트, 이미지, 동영상을 포함하고 텍스트 또는 코드 형태의 대답을 얻을 수 있 Vertex AI Workbench 접속하기 1. Google Cloud 콘솔 접속 ☞ GCP Console2. Google Cloud 프로젝트에서 Verte..

[Google Cloud] Vertex AI Studio 및 API 사용 설정 Vertex AI Studio 접속1. Google Cloud 콘솔 로그인 ☞ GCP Console2. Vertex AI Studio 접속 ☞ Verex AI StudioVertex AI Studio를 사용하면 생성형 AI 모델을 신속하게 테스트하고 맞춤 설정하여 Application 에서 활용 가능Google Cloud 콘솔에서 Gemini 멀티모달을 이용해 이미지 분석 및 프롬프트를 설계하고 대화 생성 가능API나 Python SDK를 활용하지 않아도 직관적인 UI를 통해 모든 기능 액세스 가능 Vertex AI API 사용 설정1. GCP 콘솔 상단 검색창에서 Vertex AI API 입력2. Marketplace 및 API에서 Vertex AI API를 클릭 3. 사용 설정 [ Enable ] ..

[Google Cloud] Vertex AI 생성형 AI - 프롬프트 설계 Vertex AI Workbench 접속하기 1. Google Cloud 콘솔 접속하기 : GCP Console2. Google Cloud 프로젝트에서 Vertex AI Workbench 로 이동하기3. 사용자 관리형 노트북 (User-Managed NOTEBOOKS) 이동4. JupterLab 실행 Vertex AI Workbench에서 생성형 AI 프롬프트 실습 Vertex AI SDK 설정 및 제로샷, 원샷, 퓨삿 프롬프팅 In [1]:# Copyright 2024 Google LLC## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with t..

[구글 클라우드] 텐서플로우를 활용한 Babyweight 예제 (source : GCP qwiklabs) 버킷생성 1. 버킷 생성 : Navigation menu> Storage > [Create a standard bucket] 2. Babyweight 데이터세트를 스토리지 버킷에 복사 - Cloud Shell에서, 아래 명령어를 실행하여 사전 처리된 데이터세트를 내 버킷에 복사 - 부분을 위에서 생성한 버킷 이름으로 변경 gsutil cp gs://cloud-training-demos/babyweight/preproc/* gs:///babyweight/preproc/ (결과화면) TensorBoard 설정 + AI Platform Notebooks 생성 3. Cloud Shell에서, TensorBoard를 지원하는 Cloud AI Platform Noteboo..

[구글 클라우드] 텐서플로우를 활용한 머신러닝 예제 (source : GCP qiwklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..

[구글 클라우드] TensorFlow 스케일링 - AI Platform Training 서비스 활용 (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 TensorBoard 설정 + AI Platform Notebooks 생성 1. Cloud Shell에서, TensorBoard를 지원하는 Cloud AI Platform Notebook 인스턴스를 생성 export IMAGE_FAMILY="tf-1-14-cpu" export ZONE="us-west1-b" export INSTANCE_NAME="tf-tensorboard-1" export INSTANCE_TYPE="n1-standard-4" gcloud compute instances create "${INSTANCE_NAME}" \ --zone="${ZON..

[구글 클라우드] 분산 학습 TensorFlow 모델 (Estimator API 사용) (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 1. 패키지 import from google.cloud import bigquery import tensorflow as tf import numpy as np import shutil print(tf.__version__) 2. 입력 CSV_COLUMNS = ['fare_amount', 'pickuplon','pickuplat','dropofflon','dropofflat','passengers', 'key'] LABEL_COLUMN = 'fare_amount' DEFAULTS = [[0.0], [-74.0], [40.0], [-74.0], [40.7], ..

[구글 클라우드] 배치 기반 TensorFlow 스케일업 (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 1. 패키지 import from google.cloud import bigquery import tensorflow as tf import numpy as np import shutil print(tf.__version__) 2. 입력 Refactor - Dataset API를 사용하여 데이터가 미니 배치로 모델에 전달 될 때, 필요할 때만 디스크에서 로드됨 CSV_COLUMNS = ['fare_amount', 'pickuplon','pickuplat','dropofflon','dropofflat','passengers', 'key'] DEFAULTS = [..

[구글 클라우드] Estimator API 사용해서 AI 모델 구현 (TensorFlow) (source : GCP qwiklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..

[구글 클라우드] Machine Learning APIs 활용하기 (source : GCP qiwklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..

[구글 클라우드] AI Platform Notebooks & BigQuery 를 사용한 데이터 분석 실습 노트(Jupyter Notebooks) 샘플 첨부 : (source : GCP qwiklabs) BigQuery 호출 BigQuery Console 열기 1. Navigation menu > BigQuery 클릭 2. Done 클릭 3. Query 텍스트 박스에서 아래 내용 입력 후, Run 클릭 #standardSQL SELECT departure_delay, COUNT(1) AS num_flights, APPROX_QUANTILES(arrival_delay, 5) AS arrival_delay_quantiles FROM `bigquery-samples.airline_ontime_data.flights` GROUP BY departure_delay HAVING num_flights > 100 RD..

[구글 클라우드] AI 플랫폼 활용 AI Platform 문서 https://cloud.google.com/ml-engine/docs/ AI Platform 문서 | Google Cloud 머신러닝 모델을 위한 관리형 서비스입니다. cloud.google.com AI Platform으로 머신러닝 기능 활용 Harness the Power of Machine Learning with Cloud ML Engine | Google Cloud Labs source : GCP qwiklabs Google Cloud Shell 활성화하기 1. GCP Console의 오른쪽 상단 툴바에서 Cloud Shell 열기 버튼 클릭 2. 계속(Continue) 클릭 결과 화면 : 가상 환경을 만들기 1. 패키지 목록 다운로드 & 업데이트 sudo apt-ge..

[구글 클라우드 플랫폼] 강화학습 활용 예제 (Reinforcement Learning on GCP) 강화 학습(Reinforcement Learning) 개념 에이전트(Agend)가 일련의 단계(State)에서 주어진 목표/보상(Objective/Reward)를 최대화하기 위해 환경(Environment)에서 동작(Action)하는 기계학습(Machine Learning)의 한 종류 구글 클라우드 플랫폼에서 강화학습(Reinforcement Learning) Job을 동작하기 위해 아래의 소스파일과 셸 커맨드를 참고하여 실습할 수 있음 GCP 에서 강화학습 실습하기 1. 탐색 메뉴에서 > AI Platform > Notebooks 를 선택 2. 상단 메뉴바에서 + 새 인스턴스 만들기 (New Instance) > 텐서플로우 2.1 (Tensorflow 2.1) > GPU 없는 버전(Without GPU..

[구글 클라우드] 영상 분석 예제 (Video Intelligence) source : GCP qwiklabs Google Cloud Shell 활성화하기 1. GCP Console의 오른쪽 상단 툴바에서 Cloud Shell 열기 버튼 클릭 2. 계속(Continue) 클릭 결과 화면 : 계정 목록 조회 gcloud auth list 출력: Credentialed accounts: - @.com (active) 출력 예: Credentialed accounts: - google1623327_student@qwiklabs.net 프로젝트 ID 조회 gcloud config list project 출력: [core] project = 출력 예: [core] project = qwiklabs-gcp-44776a13dea667a6 Video Intelligence API 사용 설..

이전 1 2 다음

티스토리툴바