[Google Cloud] Vertex AI Studio 및 API 사용 설정

Vertex AI Studio 접속

1. Google Cloud 콘솔 로그인 ☞ GCP Console

2. Vertex AI Studio 접속 ☞ Verex AI Studio

• Vertex AI Studio를 사용하면 생성형 AI 모델을 신속하게 테스트하고 맞춤 설정하여 Application 에서 활용 가능
• Google Cloud 콘솔에서 Gemini 멀티모달을 이용해 이미지 분석 및 프롬프트를 설계하고 대화 생성 가능
• API나 Python SDK를 활용하지 않아도 직관적인 UI를 통해 모든 기능 액세스 가능

 

 

Vertex AI API 사용 설정

1. GCP 콘솔 상단 검색창에서 Vertex AI API 입력

2. Marketplace 및 API에서 Vertex AI API를 클릭

 

3. 사용 설정 [ Enable ] 을 클릭

 

Gemini 멀티모달로 이미지 분석

1. GCP 콘솔에서 탐색 메뉴 > 인공지능 > Vertex AI > Vertex AI Studio > 개요 이동

 

2. Gemini 기반 멀티모달에서 Gemini 사용해보기 클릭

 

3. 프롬프트의 이름을 이미지 분석 으로 지정

 

4. 샘플 이미지 다운로드 → 일정표 이미지를 마우스 오른쪽 버튼으로 클릭한 다음 데스크톱에 저장

일정표 이미지

 

5. 이미지 제목 생성 → 미디어 삽입 > 컴퓨터에서 업로드 > 일정표 이미지 업로드

 

6. 아래 텍스트를 프롬프트 창에 입력 후 [SUMIT]

• Title the image. 
• 구체적으로 지정할 수도 있음 : Title the image in 3 words.
• 이미지 설명 : Describe the image in detail.

 

7. 온도 파라미터를 조정하여 왼쪽(0) 에서 오른쪽 (1 or 2) 스크롤 후 재실행

• 온도는 토큰 선택의 무작위성 수준을 제어
• 온도가 0이면 확률이 가장 높은 토큰이 항상 선택됨
• 낮은 온도는 True / 정답 프롬프트에 적합 
• 온도가 높을수록 다양하고 예기치 않은 결과 도출

 

8. 이미지에서 텍스트 추출

• 프롬프트 : Read the text in the image
• 출력 형식을 목록으로 지정하는 프롬프트 : Parse the time and city in this image into a list with two columns: time and city.

 

9. 이미지 정보 분석

• 프롬프트 : Calculate the percentage of the flights to different continents.

 

10. 프롬프트 저장

 

멀티모달(Multi-modal)기능 활용

1. Cloud Storage > 버킷으로 이동 

 

2.  버킷 생성 후 이름 복사

3. 샘플 동영상을 Cloud Storage 버킷에 복사 : Cloud Shell 활성화 후, 아래 명령어 실행

gcloud storage cp gs://spls/gsp154/video/train.mp4 gs://<Your-Cloud-Storage-Bucket>

 

4. Vertex AI > Vertex AI Studio > 개요 로 다시 이동

5. Gemini 기반 멀티모달에서 Gemini 사용해보기 클릭

6. 미디어 삽입 > Cloud Storage 에서 가져오기 클릭

 

7. 버킷 이름을 클릭한 후, 샘플 동영상 (train.mp4) 클릭 > 선택 클릭

8. 프롬프트를 입력하여 동영상에 대한 정보를 생성

Title the video.

※ 참고 : 멀티모달 프롬프트 설계

 

 

자유형식 및 구조화 모드로 프롬프트 설계 (Freeform/Structured Prompt Engineering)

• 제로샷 프롬프트 (Zero-shot Prompt)
  • LLM에 작업을 설명하는 프롬프트만 제공하고 추가 데이터는 제공하지 않는 방법
  • 예를 들어 LLM이 질문에 대답하도록 하려면 '프롬프트 설계란 무엇인가요?'라고 묻기만 하면 됨
• 원샷 프롬프트 (One-shot Prompt)
  • LLM에 특정 작업 수행을 요청할 때 관련 예시를 하나만 제공하는 방법
  • 예를 들어 LLM이 시를 쓰도록 하려면 시 한 편을 예시로 제공할 수 있음
• 퓨샷 프롬프트 (Few-shot Prompt)
  • LLM에 특정 작업 수행을 요청할 때 몇 가지 예시를 제공하는 방법
  • 예를 들어 LLM이 뉴스 기사를 작성하도록 하려면 읽을 수 있는 뉴스 기사 몇 건을 제공하면 됨

 

1. 프롬프트 만들기 : Vertex AI Studio > Language > Create a new Prompt > Generate Text [ Text PROMPT ] 클릭

 

2. 자유형식 (Freeform) 프롬프트 테스트

What is a prompt gallery?

• 출력 토큰 한도 (Output token limit) 파라미터를 1로 조정하고 제출 버튼을 클릭
• 출력 토큰 한도 (Output token limit) 파라미터를 1024로 조정하고 제출 버튼을 클릭
• 온도 (Temperature) 파라미터를 0.5로 조정하고 제출 버튼을 클릭
• 온도 (Temperature) 파라미터를 1.0으로 조정하고 제출 버튼을 클릭

 

3. 구조화 모드 (Structured) 프롬프트 테스트

 

- 컨텍스트 (Context) 의 텍스트 삭제

- 테스트 필드 (Test) 에서 다음 프롬프트 입력 후 제출 버튼 클릭

the color of the sky is

 

4. 예시 입력

- 입력 필드에 다음 프롬프트 추가

the color of the grass is

- 출력 필드에 다음 프롬프트 추가

the color of the grass is green

 

5. 감성 (Sentiment) 분서ㅓㄱ

- 예시 필드에서 grass is green 이전 입력 및 출력 텍스트 삭제

- 예시 필드 긍정/부정/중립 예시 추가

- 테스트 입력 필드에서 다음 프롬프트 작성 후 [ SUBMIT ]

It was a time well spent!

 

 

대화 생성

1. Vertex AI Studio > Language > Create a new Prompt > Start a conversation [ TEXT CHAT ] 클릭

 

2. 모델에서 chat-bison(최신) 선택

 

3. 컨텍스트 (Context) 추가 후 채팅

Your name is Roy.
You are a support technician of an IT department.
You only respond with "Have you tried turning it off and on again?" to any queries.

- 다음 질문을 채팅창에 입력

My computer is so slow

 

 

- 컨텍스트가 없을때는 답변을 제대로 제공하지 못함.

- 컨텍스트 추가 시 일부 트러블슈팅 가이드 제시

 

 

 

(source : Google Cloud)