Google Cloud (12) 썸네일형 리스트형 [GCP] Dataflow로 실시간 대시보드를 위한 스트리밍 데이터 파이프라인 만들기 작업 1. BigQuery 데이터 세트 만들기이 작업에서는 taxirides 데이터 세트를 만듭니다. 데이터 세트는 두 가지 옵션 즉, Google Cloud Shell과 Google Cloud 콘솔 중 하나를 사용해 만들 수 있습니다.이 실습에서는 뉴욕시 택시 및 리무진 조합의 공개 데이터 세트에서 추출한 데이터를 사용합니다. 쉼표로 구분된 작은 데이터 파일을 사용해 택시 데이터의 주기적인 업데이트를 시뮬레이션합니다.BigQuery는 서버리스 데이터 웨어하우스입니다. BigQuery의 테이블은 데이터 세트로 구성되어 있습니다. 이 실습의 택시 데이터는 독립형 파일에서 Dataflow를 통해 이동하여 BigQuery에 저장됩니다. 이 구성을 사용하면 소스 Cloud Storage 버킷에 저장된 새 데이터.. [GCP] Apache Spark용 서버리스를 사용하여 BigQuery 로드하기 작업 1. 환경 구성 작업 완료먼저 Apache Spark용 서버리스 워크로드 실행을 지원하도록 몇 가지 환경 구성 작업을 수행하겠습니다.Cloud Shell에서 다음 명령어를 실행하여 비공개 IP 액세스를 사용 설정합니다.gcloud compute networks subnets update default --region=REGION --enable-private-ip-google-access 다음 명령어를 사용하여 스테이징 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsutil mb -p PROJECT_ID gs://PROJECT_ID 다음 명령어를 사용하여 BigQuery에서 테이블을 만들고 로드하는 동안 임시 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsuti.. [GCP] Dataform에서 SQL 워크플로 만들기 및 실행 작업 1. Dataform 저장소 만들기콘솔에서 탐색 메뉴를 펼친 다음 BigQuery > Dataform을 선택합니다.저장소 만들기를 클릭합니다.저장소 만들기 페이지에서 다음을 수행합니다.저장소 ID 필드에 quickstart-repository를 입력합니다.리전 목록에서 REGION을(를) 선택합니다.만들기를 클릭합니다.저장소가 만들어지면 Dataform 서비스 계정이 표시됩니다. 추후 필요한 권한을 할당할 때 사용할 수 있도록 복사해 두세요.저장소로 이동을 클릭합니다.참고: API 요청과 관련한 권한 거부 오류가 발생하면 몇 분 기다린 다음, 저장소를 다시 생성하세요. 작업 2. Dataform 개발 작업공간 만들기 및 초기화Dataform 페이지에서 방금 만든 quickstart-repositor.. [GCP] Lakehouse: Qwik Start Lakehouse는 멀티 클라우드 스토리지와 개방형 형식 전반에서 균일하게 세분화된 액세스 제어를 제공하여 데이터 웨어하우스 및 레이크에 대한 데이터 액세스를 간소화하는 통합 스토리지 엔진입니다.Lakehouse는 BigQuery의 세분화된 행 및 열 수준 보안을 Amazon S3, Azure Data Lake Storage Gen2, Google Cloud Storage와 같은 데이터 상주 객체 스토어의 테이블로 확장합니다. Lakehouse는 액세스 위임을 통해 테이블 액세스를 기본 클라우드 스토리지 데이터에서 분리합니다. 이 기능을 사용하면 테이블에 대한 전체 액세스 권한을 제공하지 않고도 조직 내 사용자 및 파이프라인에 행 및 열 수준의 액세스를 안전하게 부여할 수 있습니다.Lakehouse 테이.. [GCP] Datastream: BigQuery로 PostgreSQL 복제 활성 계정 이름 목록 표시gcloud auth listACTIVE: *ACCOUNT: student-03-6fa3524d3040@qwiklabs.netTo set the active account, run: $ gcloud config set account `ACCOUNT`프로젝트 ID 목록 표시.gcloud config list project[core]project = qwiklabs-gcp-02-48ffbd2fb025gcloud 전체 문서는 Google Cloud에서 gcloud CLI 개요 가이드 참고 1. 복제를 위한 데이터베이스 만들기Datastream 복제를 위한 PostgreSQL용 Cloud SQL 데이터베이스 준비Cloud SQL 데이터베이스 만들기다음 명령어를 실행하여 Cloud .. Google Cloud Summit Seoul 2024 참관 Summary- 비즈니스 환경 전반에서 Human-AI 협력 환경으로 진화가 예상되며, AI는 작업 보조자로 자리 매김 중- 생성형 AI/LLM 모델은 Multi-modal(LLVM) 연계 방향으로 진화하며 사용자경험(UX)의 혁신적 변화 예상- 생성형 AI로 인해 대규모 데이터 활용(빠르고 손쉬운 데이터 연동)이 용이해짐과 더불어 채팅 기반 Instruction만으로 일부 AI 서비스 개발이 가능해지는 등, 기술 활용의 장벽이 낮아짐으로 인해 업무 전반에 AI 활용 및 각 Biz. 현장에서 필요한 형태로 직접 AI 개발/활용하는 Longtail化 전망 행사 개요 및 Highlight- Google Cloud Summit Seoul은 연례 행사로 AI, Data 분석 및 최신 클라우드 기술을 주제로.. [Google Cloud] Vertex AI 활용 Prompt Design Vertex AI Studio 접속1. Google Cloud 콘솔 로그인 ☞ GCP Console2. Vertex AI Studio 접속 ☞ Verex AI StudioVertex AI Studio를 사용하면 생성형 AI 모델을 신속하게 테스트하고 맞춤 설정하여 Application 에서 활용 가능Google Cloud 콘솔에서 Gemini 멀티모달을 이용해 이미지 분석 및 프롬프트를 설계하고 대화 생성 가능API나 Python SDK를 활용하지 않아도 직관적인 UI를 통해 모든 기능 액세스 가능 Gemini 이미지 분석 도구 빌드1. GCP 콘솔에서 탐색 메뉴 > 인공지능 > Vertex AI > Vertex AI Studio > 개요 이동 2. Gemini 기반 멀티모달에서 Gemini 사용해보기 .. [Google Cloud] Vertex AI Gemini API 및 Python SDK 실습 Vertex AI Gemini APIVertex AI Gemini API는 여러 Gemini 모델과의 상호작용을 위한 통합 인터페이스를 제공함.현재 Gemini API에서 사용할 수 있는 모델Gemini 1.0 Pro 모델(gemini-1.0-pro): 자연어 작업, 멀티턴 텍스트 및 코드 채팅, 코드 생성을 처리하도록 설계된 모델Gemini 1.0 Pro Vision 모델(gemini-1.0-pro-vision): 멀티모달 프롬프트를 지원하는 모델로, 프롬프트 요청에 텍스트, 이미지, 동영상을 포함하고 텍스트 또는 코드 형태의 대답을 얻을 수 있 Vertex AI Workbench 접속하기 1. Google Cloud 콘솔 접속 ☞ GCP Console2. Google Cloud 프로젝트에서 Verte.. [Google Cloud] Vertex AI Studio 및 API 사용 설정 Vertex AI Studio 접속1. Google Cloud 콘솔 로그인 ☞ GCP Console2. Vertex AI Studio 접속 ☞ Verex AI StudioVertex AI Studio를 사용하면 생성형 AI 모델을 신속하게 테스트하고 맞춤 설정하여 Application 에서 활용 가능Google Cloud 콘솔에서 Gemini 멀티모달을 이용해 이미지 분석 및 프롬프트를 설계하고 대화 생성 가능API나 Python SDK를 활용하지 않아도 직관적인 UI를 통해 모든 기능 액세스 가능 Vertex AI API 사용 설정1. GCP 콘솔 상단 검색창에서 Vertex AI API 입력2. Marketplace 및 API에서 Vertex AI API를 클릭 3. 사용 설정 [ Enable ] .. [Google Cloud] Vertex AI 생성형 AI - 프롬프트 설계 Vertex AI Workbench 접속하기 1. Google Cloud 콘솔 접속하기 : GCP Console2. Google Cloud 프로젝트에서 Vertex AI Workbench 로 이동하기3. 사용자 관리형 노트북 (User-Managed NOTEBOOKS) 이동4. JupterLab 실행 Vertex AI Workbench에서 생성형 AI 프롬프트 실습 Vertex AI SDK 설정 및 제로샷, 원샷, 퓨삿 프롬프팅 In [1]:# Copyright 2024 Google LLC## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with t.. 분석/학습용 공개 데이터 세트들 (Public Dataset Resources) 링크 포함 구글 클라우드 공개데이터 세트 Google Cloud Public Dataset링크 : https://cloud.google.com/datasets데이터세트 검색 : https://datasetsearch.research.google.com/Google 데이터세트Google 트렌드 : 지난 30일 동안의 Google 트렌드에서 상위 25개/급상승 25개 쿼리, 전세계 50여개 국가 데이터 포함, 미국내 210개의 지정시장지역(DMA)에 대한 5년간 과거데이터 포함Google 애널리틱스 : 웹사이트 트래픽 소스, 컨텐츠, 트랜잭션 데이터 포함 Google 애널리틱스 360개 데이터 (2016.08~2017.08, 비식별화)Google 특허검색 : 제목, 초록 기계번역, 임베딩 벡터, 상위 용어 추출, 유사.. [구글 클라우드] Machine Learning APIs 활용하기 (source : GCP qiwklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter.. 이전 1 다음
