본문 바로가기

전체 글

 (1141)
[GCP] Dataflow로 실시간 대시보드를 위한 스트리밍 데이터 파이프라인 만들기 작업 1. BigQuery 데이터 세트 만들기이 작업에서는 taxirides 데이터 세트를 만듭니다. 데이터 세트는 두 가지 옵션 즉, Google Cloud Shell과 Google Cloud 콘솔 중 하나를 사용해 만들 수 있습니다.이 실습에서는 뉴욕시 택시 및 리무진 조합의 공개 데이터 세트에서 추출한 데이터를 사용합니다. 쉼표로 구분된 작은 데이터 파일을 사용해 택시 데이터의 주기적인 업데이트를 시뮬레이션합니다.BigQuery는 서버리스 데이터 웨어하우스입니다. BigQuery의 테이블은 데이터 세트로 구성되어 있습니다. 이 실습의 택시 데이터는 독립형 파일에서 Dataflow를 통해 이동하여 BigQuery에 저장됩니다. 이 구성을 사용하면 소스 Cloud Storage 버킷에 저장된 새 데이터..
[영영이별 영이별] 칼끝을 걷듯 살아온 인생, 끝내 살아내리라! 역사는 대개 승자의 기록이거나, 비극적으로 생을 마감한 주인공의 이야기에 집중한다. 조선 역사상 가장 잔인한 골육상쟁 중 하나인 '계유정난(癸酉靖難)'을 떠올릴 때, 우리의 시선은 늘 세조의 잔혹함이나 비운의 왕 단종에게 머물러 있었다. 하지만 김별아 작가는 시선을 돌려, 열다섯의 나이에 동갑내기 남편과 이별하고 홀로 60여 년을 더 살아야 했던 여인, 정순왕후 송씨의 삶을 이야기한다.제목인 '영영 이별 영이별'은 단종과 정순왕후가 청계천 영도교(永渡橋)에서 나눈 마지막 이별에서 따왔다. 한 번 건너면 다시는 돌아올 수 없는 다리. 그 다리를 기점으로 여인의 삶은 온통 밤이 되었다. 소설은 정순왕후가 세상을 떠나기 직전, 과거를 회상하는 독백 형식을 취하며 독자를 그 참혹한 고독의 한복판으로 이끈다. 이..
[GCP] Apache Spark용 서버리스를 사용하여 BigQuery 로드하기 작업 1. 환경 구성 작업 완료먼저 Apache Spark용 서버리스 워크로드 실행을 지원하도록 몇 가지 환경 구성 작업을 수행하겠습니다.Cloud Shell에서 다음 명령어를 실행하여 비공개 IP 액세스를 사용 설정합니다.gcloud compute networks subnets update default --region=REGION --enable-private-ip-google-access 다음 명령어를 사용하여 스테이징 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsutil mb -p PROJECT_ID gs://PROJECT_ID 다음 명령어를 사용하여 BigQuery에서 테이블을 만들고 로드하는 동안 임시 위치 역할을 할 새 Cloud Storage 버킷을 만듭니다.gsuti..
[GCP] Dataform에서 SQL 워크플로 만들기 및 실행 작업 1. Dataform 저장소 만들기콘솔에서 탐색 메뉴를 펼친 다음 BigQuery > Dataform을 선택합니다.저장소 만들기를 클릭합니다.저장소 만들기 페이지에서 다음을 수행합니다.저장소 ID 필드에 quickstart-repository를 입력합니다.리전 목록에서 REGION을(를) 선택합니다.만들기를 클릭합니다.저장소가 만들어지면 Dataform 서비스 계정이 표시됩니다. 추후 필요한 권한을 할당할 때 사용할 수 있도록 복사해 두세요.저장소로 이동을 클릭합니다.참고: API 요청과 관련한 권한 거부 오류가 발생하면 몇 분 기다린 다음, 저장소를 다시 생성하세요. 작업 2. Dataform 개발 작업공간 만들기 및 초기화Dataform 페이지에서 방금 만든 quickstart-repositor..
[GCP] Lakehouse: Qwik Start Lakehouse는 멀티 클라우드 스토리지와 개방형 형식 전반에서 균일하게 세분화된 액세스 제어를 제공하여 데이터 웨어하우스 및 레이크에 대한 데이터 액세스를 간소화하는 통합 스토리지 엔진입니다.Lakehouse는 BigQuery의 세분화된 행 및 열 수준 보안을 Amazon S3, Azure Data Lake Storage Gen2, Google Cloud Storage와 같은 데이터 상주 객체 스토어의 테이블로 확장합니다. Lakehouse는 액세스 위임을 통해 테이블 액세스를 기본 클라우드 스토리지 데이터에서 분리합니다. 이 기능을 사용하면 테이블에 대한 전체 액세스 권한을 제공하지 않고도 조직 내 사용자 및 파이프라인에 행 및 열 수준의 액세스를 안전하게 부여할 수 있습니다.Lakehouse 테이..
[GCP] Datastream: BigQuery로 PostgreSQL 복제 활성 계정 이름 목록 표시gcloud auth listACTIVE: *ACCOUNT: student-03-6fa3524d3040@qwiklabs.netTo set the active account, run: $ gcloud config set account `ACCOUNT`프로젝트 ID 목록 표시.gcloud config list project[core]project = qwiklabs-gcp-02-48ffbd2fb025gcloud 전체 문서는 Google Cloud에서 gcloud CLI 개요 가이드 참고 1. 복제를 위한 데이터베이스 만들기Datastream 복제를 위한 PostgreSQL용 Cloud SQL 데이터베이스 준비Cloud SQL 데이터베이스 만들기다음 명령어를 실행하여 Cloud ..
[오로라] 들키면 어떻게 되나요? - 12p. 이별은 쉬웠다. ‘이제 그만하자’ ‘그래, 그만하자’는 말을 주고받는 것으로 끝이었다. 그리고 그만한 자리에 들어차던 허무. 짙은 먹구름. 오래도록 나타나지 않던 태양. 너는 혼자였다. 그와 연애하던 때에도 혼자라고 느꼈던 때가 있었다. ’혼자‘에는 너무나도 다양한 상태가 존재한다. 너는 너에게 가장 적합한 혼자의 상태를 찾고 싶다. 혼자인 채로 사랑하고, 실망하고, 단념하고, 이별하고, 다시 사랑하고 싶다. 사랑에 이기거나 지지 않고 화합하고 싶다. - 31p. 네가 기억하는 장면들을 모아 시간으로 바꾼다면 열흘도 채우지 못할 것이다. 기억하는 날보다 기억하지 못하는 날이 압도적으로 많다. 잠시나마 말을 나눠본 사이까지 헤아린다면 만났으나 기억하지 못하는 사람이 훨씬 많을 것이다. 네가 잊..
[제12회 김유정문학상 수상작품집] 작별, 한강 # 한강 -18p.농담인 줄 알았는데,달리 설명할 말이 없어 그녀는 그에게 물었다.좀 걸을까요, 우리?실상 걷는 것 말고 그들이 할 수 있는 일은 없었다. 실내에 들어갈 수 없으니 저녁을 함께 먹을 수 없고, 물론 카페에서 따뜻한 차를 마실 수도 없다.나란히 천변 길을 걸으며 그들은 한동안 침묵했다. 그가 그녀의 장갑 위로 손을 잡았는데, 몇 초 지나지 않아 그녀가 손을 빼냈다. 녹을 것 같아 불안했기 때문이다. 그는 무안해했다.이제 어떡하지요?그가 물었다. 자신에게 묻는 것인지, 그녀에게 묻는 것인지 확실하지 않았다.이제는 밥을 함께 먹을 수 없고 따뜻한 데로 들어갈 수도 없고......그가 멈춰 섰다.만질 수도 없는 거예요? - 30~31p.시작이 언제였는지 그녀는 확신할 수 없었다. 마치 몇 달 만..

티스토리툴바