본문 바로가기

Biusiness Insight

 (99)
[Python] Lambda를 이용한 Vectorized Methods Lambda를 이용한 Vectorized Methods (벡터화 방법 이해하기) Lambda란? lambda 인수:식 (예: lambda x: x >= 1 ) lambda 식을 사용하면 간단한 식의 경우, 인수에 람다식을 그대로 넣어 가독성이 좋아지고 불필요한 함수 정의 없이 코드를 깔끔하게 할 수 있음 Lambda Expression : https://docs.python.org/2/tutorial/controlflow.html#lambda-expressions 데이터 프레임 생성하기 from pandas import DataFrame, Series import numpy as np d = {'one': Series([1,2,3], index=['a','b','c']), 'two': Series([1,..
[Pandas] DataFrame 생성/조회, csv 불러오기/저장하기 Pandas 란? - Python을 이용한 데이터 분석의 필수 라이브러리로, 데이터 처리에 유용 - Pandas 활용 참고 링크 사용자 가이드 API Reference 소스코드 레파지토리 Pandas 한글 참고자료 - 주로 3가지 데이터 구조 활용 : 시리즈(Series), 데이터프레임(DataFrame), 패널(Panel) Pandas DataFrame 생성 (데이터프레임 만들기) - 데이터프레임(DataFrame) 이란 : 2차원 행렬로 행방향 인덱스(index), 열방향 컬럼(column) 자료구조 - pd.DataFrame from pandas import DataFrame, Series def create_dataframe(): countries = ['Russian Fed.', 'Norway'..
Data Science 기본 역량 + Numpy, Pandas 활용 기초 Data Scientist 기본 역량 데이터분석가의 기본 역량은 문제 해결을 위해 어떤 질문을 해야 할 줄 알고, 데이터를 잘 해석할 수 있고, 데이터 구조를 이해해야 하고, 주로 팀으로 일해야 한다. What does it mean for a data scientist to have 'substantive expertise', and why is it important? Knows which questions to ask Can interpret the data well Understands structure of the data Data scientist often works in teams → to problem solving Numpy 활용 예시 1. 통계 분석에 유용한 수학 함수 - 평균(Mea..
mAP, IOU란 + Object Detection 성능 평가 지표의 이해 및 예시 1. IOU (Intersection Over Union) 객체 검출의 정확도를 평가하는 지표. 일반적으로 Object Detection에서 개별 객체(Object)에 대한 검출(Detection)이 성공하였는지를 결정하는 지표로 0~1 사이의 값을 가짐 실제 객체 위치 bounding box $B_{gt}$=gournd truth와 예측한 bounding box $B_p$=prediction 두 box가 중복되는 영역의 크기를 통해 평가하는 방식으로 겹치는 영역이 넓을 수록 잘 예측한 것으로 평가 2. Precision & Recall 2.1 TP, FP, FN, TN with Confusion Matrix TP (True Postivie, 실제 양성 예측 양성) : 올바른 탐지. IOU ≥ thres..
[Java] 자료구조 (Data Structures) 1. Array Syntax // Declaring and Creating Arrays int[] nums = new int[3]; double[] dubs = {1.0, 2.0, 3.0, 4.0, 5.0}; String[] str = {"Hello", , "world!"}; int[][] arr = new int[2][5]; // length of array int ln = nums.length; Example // foreach loops public class TestArray { public static void main(String[] args) { double[] arrList = {2.0, 3.3, 5.5, 7.1}; // Print all the array elements for (doub..
[Java] 자바 형 변환 예제 (Type Cast Examples) int to String String str = Integer.toString(i); String str = "" + i; String to int int i = Integer.parseInt(str); int i = Integer.valueOf(str).intValue(); double to String String str = Double.toString(d); long to String String str = Long.toString(l); float to String String str = Float.toString(f); String to double double d = Double.valueOf(str).doubleValue(); String to long long l = Long.valueOf..
메타버스 (Metaverse) 기본 개념 1. 메타버스란 META + UNIVERSE = METAVERSE - 메타버스는 "초월"을 뜻하는 "메타(Meta)"와 "세상/우주"를 뜻하는 "유니버스(Universe)"가 합쳐진 합성어 - 메타버스의 종류 : ① Lifelogging, ② Augmented Reality, ③ Mirror World, ④ Virtual World 데이터와 인공지능, 가상현실증간현실 등의 디지털 기술들이 현실세계와 만나 만들어내고 있는 또다른 세계 - 정지훈 EM. Works 대표 포노사피엔스들의 새로운 우주 - 최재붕 성균관대 기계공학부 교수 인간이 디지털 기술로 현실세계를 초월해서 만들어낸 여러 세계 - 김상균 강원대학교 교수 2. 라이프로깅 메타버스, Lifelogging Metaverse - 라이프로깅 (Life..
[ESG] 온실가스 배출권거래제 개념 및 글로벌 동향 1. 온실가스 배출권거래제 (GHG Emissions Trading Scheme) 1) 배출권거래제 개념 온실가스를 배출하는 사업장 간 잉여/부족분을 거래할 수 있게 만든 제도로 거래방식 중 장외 거래가 전체 거래의 45~55%를 차지함 - 대상 : 온실가스를 배출하는 전 사업장 대상 - 사업장 별 정부 할당량의 잉여/부족분 - 2015년부터 시행 【 온실가스 배출권 거래 흐름도 】 2) 배출권 거래 방식 장내 거래 : 총 거래량의 20~30% 거래소를 통해 거래하며, 매도/매수 가격과 물량이 합치하는 경우부터 순차적으로 체결됨 장외 거래 : 총 거래량의 45~55% 거래 당사자 간 협의를 통해 거래 후 정부 신고 '공정이슈' 발생을 피하기 위해 미래 기간의 가격을 거래 기준으로 함 (예: 계약일 3/1..
[ESG] 기후변화와 주요국 탄소 배출 규제 현황 및 전망 1. 기후변화 인류 경제활동으로 인한 CO2 배출량 증가는 기후 변화에 가장 큰 영향력을 미침 1.1 기후변화의 증거 - 기온 상승 - 빙하 면적 감소 - 해수면 상승 - 해양 온난화와 산성화 - 기상 이변 빈도 증가 등 1.2 기후변화의 원인 CO2등 온실 가스의 배출 (인류의 경제 활동) Human influence on the climate system is clear - IPCC 5차 평가 보고서 (2014) - 검정색 라인 : 기온 증가 트렌드 파란색 밴드 : 자연적 순환 과정 만을 변수로 본 트렌드 핑크색 밴드 : 자연적 순환 과정 + 인류활동 변수를 추가한 트렌드 검정색 트렌드가 핑크색 밴드와 거의 fitting 하는 것을 확인 할 수 있음. 이는 인류의 경제 활동이 기후변화에 가장 큰 영향..
[ESG] 국제 기구별 기후변화 전망 및 주요 보고서 기후 변화 협력 주체 - UNFCCC : 교토의정서, 파리협약 - 기타 UN 기구 : IPCC, UNDP, UNEP, IMO, WMO, ICAO 등 - 비 UN 기구 : 세계은행, WTO - 기타 환경협약 : 몬트리올 협약, UN해양법협약, 생물다양성 협약 - 기타 다자간 클럽 : 기후 행동 정상 회의, G20, REDD + Partnership - Partnership : P4G, Climate Group - 상쇄 인증체제 : Gold Standard, Voluntary Carbon Standard - 투자지배구조체제 : 탄소 정보 공시 프로젝트, Ceres Investor Network - 지역적 배출규제 : EU 기후변화 정책, KETS, 캘리포니아 ETS - 도시 간 협력 : US Mayors 기..
ESG 기본개념 ESG (Environmental, social and corporate governance) - 2005년 UN 글로벌 컴팩트 보고서 'Who Cares Wins'에서 처음 사용된 개념 - Who Cares Wins, 2005 Offspring of SRI : Socially Responsible Investment (사회책임 투자) What abount Impact Investing 자본 시장에 환경, 사회 및 거버넌스 요소를 포함시키는 것이 비즈니스에 합리적이며 보다 지속가능한 시장과 사회의 더 나은 결과로 이어진다는 내용을 담고 있음 What brings about ESG Environmental concerns Climate crisis (기후위기) Sustainability (지속가능성) So..
[AWS] 아마존 S3 예제 (Amazon S3, Simple Storage Service) 버킷 만들기 (Create Bucket) 1. 서비스 (Services) > S3 > 버킷 만들기 (Create bucket) 2. 생성된 버킷 선택 > 속성 (Properties) > 버킷 버전 관리 (Bucket Versioning) > 편집 (Edit) 3. 버킷 버전 관리 (Bucket Versioning) > 활성화 (Enable) >변경 사항 저장 (Save changes) 버킷에 객체 업로드 (Objects Upload) 4. 버킷 > 객체 (Objects) 탭 선택 > 업로드 (Upload) > 파일 추가 (Add files) 객체 권한 변경 (Object Permission Change) 4. 버킷 > 권한 (Permissions) 탭 선택 > 퍼블릭 액세스 차단 (Block public..
[구글 클라우드] 텐서플로우를 활용한 Babyweight 예제 (source : GCP qwiklabs) 버킷생성 1. 버킷 생성 : Navigation menu> Storage > [Create a standard bucket] 2. Babyweight 데이터세트를 스토리지 버킷에 복사 - Cloud Shell에서, 아래 명령어를 실행하여 사전 처리된 데이터세트를 내 버킷에 복사 - 부분을 위에서 생성한 버킷 이름으로 변경 gsutil cp gs://cloud-training-demos/babyweight/preproc/* gs:///babyweight/preproc/ (결과화면) TensorBoard 설정 + AI Platform Notebooks 생성 3. Cloud Shell에서, TensorBoard를 지원하는 Cloud AI Platform Noteboo..
[구글 클라우드] 텐서플로우를 활용한 머신러닝 예제 (source : GCP qiwklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..
[구글 클라우드] TensorFlow 스케일링 - AI Platform Training 서비스 활용 (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 TensorBoard 설정 + AI Platform Notebooks 생성 1. Cloud Shell에서, TensorBoard를 지원하는 Cloud AI Platform Notebook 인스턴스를 생성 export IMAGE_FAMILY="tf-1-14-cpu" export ZONE="us-west1-b" export INSTANCE_NAME="tf-tensorboard-1" export INSTANCE_TYPE="n1-standard-4" gcloud compute instances create "${INSTANCE_NAME}" \ --zone="${ZON..
[구글 클라우드] 분산 학습 TensorFlow 모델 (Estimator API 사용) (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 1. 패키지 import from google.cloud import bigquery import tensorflow as tf import numpy as np import shutil print(tf.__version__) 2. 입력 CSV_COLUMNS = ['fare_amount', 'pickuplon','pickuplat','dropofflon','dropofflat','passengers', 'key'] LABEL_COLUMN = 'fare_amount' DEFAULTS = [[0.0], [-74.0], [40.0], [-74.0], [40.7], ..
[구글 클라우드] 배치 기반 TensorFlow 스케일업 (source : GCP qwiklabs) - Jupyter Notebook 실습 코드 - Jupyter Notebook 실습 코드 : 정답 포함 1. 패키지 import from google.cloud import bigquery import tensorflow as tf import numpy as np import shutil print(tf.__version__) 2. 입력 Refactor - Dataset API를 사용하여 데이터가 미니 배치로 모델에 전달 될 때, 필요할 때만 디스크에서 로드됨 CSV_COLUMNS = ['fare_amount', 'pickuplon','pickuplat','dropofflon','dropofflat','passengers', 'key'] DEFAULTS = [..
[구글 클라우드] Estimator API 사용해서 AI 모델 구현 (TensorFlow) (source : GCP qwiklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..
[구글 클라우드] Machine Learning APIs 활용하기 (source : GCP qiwklabs) AI Platform Notebooks 생성 1. Navigation Menu > AI Platform > Notebooks 클릭 2. 인스턴스 생성 : NEW INSTANCE 클릭 - Tensorflow Enterprise 1.15 > Without GPUs 선택 3. 팝업창이 뜨면 딥러닝 VM 이름을 입력/확인 하고 Create 클릭 (VM 생성까지 2~3분 정도 소요될 수 있음) 4. Open JupyterLab 클릭 > JupyterLab Window가 새창으로 열림 Datalab instance에 학습용 repo 복제 - training-data-analyst 를 내 JupyterLab 인스턴스에 복제 1. JupyterLab 에서 터미널 아이콘(Ter..
[구글 클라우드] AI Platform Notebooks & BigQuery 를 사용한 데이터 분석 실습 노트(Jupyter Notebooks) 샘플 첨부 : (source : GCP qwiklabs) BigQuery 호출 BigQuery Console 열기 1. Navigation menu > BigQuery 클릭 2. Done 클릭 3. Query 텍스트 박스에서 아래 내용 입력 후, Run 클릭 #standardSQL SELECT departure_delay, COUNT(1) AS num_flights, APPROX_QUANTILES(arrival_delay, 5) AS arrival_delay_quantiles FROM `bigquery-samples.airline_ontime_data.flights` GROUP BY departure_delay HAVING num_flights > 100 RD..

티스토리툴바