■ Essential Cheat Sheets for Machine Learning and Deep Learning Engineers

https://startupsventurecapital.com/essential-cheat-sheets-for-machine-learning-and-deep-learning-researchers-efb6a8ebd2e5


1. Keras 

https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Keras_Cheat_Sheet_Python.pdf


2. Numpy

https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Numpy_Python_Cheat_Sheet.pdf


3. Pandas

basic : https://s3.amazonaws.com/assets.datacamp.com/blog_assets/PandasPythonForDataScience.pdf

https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Python_Pandas_Cheat_Sheet_2.pdf


4. Scipy

https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Python_SciPy_Cheat_Sheet_Linear_Algebra.pdf


5. Matplotlib

https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Python_Matplotlib_Cheat_Sheet.pdf


6. Scikit-learn

https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Scikit_Learn_Cheat_Sheet_Python.pdf


7. Neural Networks Zoo

http://www.asimovinstitute.org/neural-network-zoo/


8. PySpark

https://s3.amazonaws.com/assets.datacamp.com/blog_assets/PySpark_Cheat_Sheet_Python.pdf




■ R Cheat Sheet


1. R Studio Cheat Sheet  https://www.rstudio.com/resources/cheatsheets/

- Data Import Cheat Sheet

- Data Transformation Cheat Sheet

- Sparklyr Cheat Sheet

- R Markdown Cheat Sheet

- RStudio IDE Cheat Sheet

- Shiny Cheat Sheet

- Data Visualization Cheat Sheet

- Package Development Cheat Sheet

- Data Wrangling Cheat Sheet

- R Markdown Reference Guide

- Base R

- Advanced R

- Regular Expressions

- How big is your graph

- eurostat package

- The survminer package

- THe leaflet package


2. ggplot2

https://www.rstudio.com/wp-content/uploads/2015/03/ggplot2-cheatsheet.pdf


3. R Studio (dplyr and tidyr)

https://www.rstudio.com/wp-content/uploads/2015/02/data-wrangling-cheatsheet.pdf


4. R Markdown (KO)

https://www.rstudio.com/wp-content/uploads/2016/02/rmarkdown-cheatsheet-kr.pdf


5. R Reference Card for Data Mining

https://cran.r-project.org/doc/contrib/YanchangZhao-refcard-data-mining.pdf


6. Data Analysis the DATA.TABLE way

https://s3.amazonaws.com/assets.datacamp.com/img/blog/data+table+cheat+sheet.pdf

카카오 AI 리포트 Vol.1 (2017 MAR)


01. AI 기술 개발의 역사, 머신러닝과 딥러닝  

- 최초의 AI프로그램, 논리연산가(Logic Theorist), CMU Allen Newell & Herbert A. Simon

  . 첫째, 추론을 통한 탐색

  . 둘째, 경험적 방법론(Heuristics) 도입

  . 셋째, 정보처리언어(IPL, Information Processing Language) 개발

- 탐색과 추론의 시대

- Machine Learning, 기계가 스스로 학습한다

- Deep Learning, 인간 뇌의 정보처리 방식을 흉내낸다


02. AI 규제 동향 및 법적, 윤리적 쟁점

현재 AI 분야에서는 모든 전문가들이 동의할만한 정의가 존재하지 않는다. 다만 AI 분야의 교과서로 알려진 '인공지능: 현대적 접근' 에서 스튜어트 러셀 교슈와 피터 노빅은 인공지능을 정의하려는 시도들을 '인간처럼 사고하고, 인간처럼 행동하고, 합리적으로 사고하고, 합리적으로 행동하는' 네 가지 특징별로 분류한 뒤, '합리적으로 행동하는: 합리적인 에이전트(agent) 접근법'을 채택해 인공지능을 분서했다. 반면 미국 조지메이슨대 매튜 슈어러 교수는 규제 관점에서 볼 때 '특정 기능을 수행할 수 있는- '식의 목적 지향적(goal-oriented) 정의는 AI처럼 급격한 기술 변화가 예상되는 분야에서는 적절하지 않다고 설명한다. - 김명수 (Kakao)


03. 로봇 윤리의 변천사

- 시즌1, 로봇의 책무만을 강조하던 시대

  . 아이, 로봇(I, Robot) - 2004개봉 (주연: 윌스미스, 감독: 알렉스 프로야스)

  . 바이센테니얼 맨(Bicentennial Man) - 2000 개봉 (주연: 로빈 윌리엄스, 엠베스 데이비츠, 샘 닐, 감독: 크리스 콜럼버스)

- 시즌2, 인간과의 공존, 인간의 책임  . 

- 시즌3, 프라이버시와 투명성의 강조

- 시즌4, AI 무기 경쟁 경계와 초지능에 대한 고려


04. 2017년 AI 컨퍼런스 소개

1) The O'Reailly Artificial Intelligence Conference (June 26~29, New York) (September 17~20, San Francisco)

2) Computer Vision and Pattern Recognition (July 22~25, Honolulu)

3) The AI Summit (May 9, London) (September 27, San Francisco) (December 6 New York)

4) ICML, International Conference on Machine Learning (August 6~11, Sydney)

5) NIPS, Neural Information Processing Systems (December 4~9, California)


05. AI관련 팟캐스트 소개

1) The AI Podcast, NVIDIA

2) Concerning AI | Artificial Intelligence

3) Learning Machines 101 

4) The Week in Machine Learning

5) Talking Machines (2016년 9월 방송 종료) NIPS, ICML 등 주요 컨퍼런스 관련 논문 소개



카카오 AI 리포트 Vol.2 (2017 APR)


01. 앤드류 응(Andrew Ng)이 말하는 AI, 경영전략

- 앤드류 응이 지난 3월 바이두를 떠났다.

- AI 개발자들에게 : "논문을 많이 읽고, 스스로 검증하라", "읽은 논문을 토대로 똑같이 따라해서, 똑같은 결과를 스스로 확인하라"

- AI 사업 성공을 위한 4 요소 : ①데이터, ②기획력, ③기획자와 개발자 간의 소통, ④가치 사슬 후속 과정에 대한 세밀한 관리




02. 세상을 바꾸고 싶다면, 딥러

"현재 딥러닝을 하고 있다면 축하한다. 딥러닝을 시작하려고 마음을 먹었다면 축하한다. 만약, 세상을 바꾸고 싶다면, 여기가 바로 그런 곳이다." by 앤드류 응(Andrew Ng)


03. AI, 지능정보기술 개발 및 활용의 바람직한 방향

어떤 이들은 AI 분야에서 구글, 페이스북 등 미국 기업들이 훨씬 앞선 기술력을 보유하고 있고 그 성능을 계속 향상시킬 수 있는 글로벌 플랫폼을 구축해놓은 까닭에 이미 경쟁은 끝난 것이 아니냐고 걱정한다. 그러나 구글, 페이스북, 아마존 등이 모든 산업과 서비스 시장을 전부 독과점한 상황은 전혀 아니다. 골드만삭스가 금융분석 및 거래에서 켄쇼를 사용하듯, 상이한 데이터와 서비스가 필요한 분야에서는 각각 다른 AI 플랫폼이 경쟁할 수 있다. 특히 경쟁 관계에 있는 수많은 국가와 기업들이 모두 극소수 지능정보기술 플랫폼에만 의존하는 균일화된 시장 상황은 형성되기 어려울 것이다. - 권용현 팀장 (미래창조과학부 지능정보사회추진단 기획총괄)


04. 인간의 길, AI 로봇의 길

미래는 유토피아 아니면 디스토피아일까요? 정말 두 가지 답안지 밖에 없는 것일까요? (중략) 어쩌면 뛰어난 AI 로봇 기술을 가진 국가 또는 기업이 헤게모니를 완전히 장악하게 될 것이라는 미래 예상은 조금 틀릴 지도 모르겠습니다. 아마도 뛰어난 AI 로봇 기술과 보다 인간적인(?) 사람들이 사는 국가 또는 기업이 헤게모니를 장악하게 되지 않을까 상상해 봅니다. 이것이 4차 산업혁명의 포장지인 '혁명'을 보는 것이 아닌 핵심 내용인 '기술의 변화'를 보는 것 아닐까요? - 한재권 교수 (한양대학교 융합시스템학과)


05. AI 온라인 강의 모음

1) CS50x Introduction to Computer Science, Harvard University via edX

2) CS101 Computer Science 101, Stanford University via Stanford OpenEdx

3) Programming for Everybody (Getting Started with Python), University of Michigan via Coursera

4) Intro to Data Science, Udacity

5) Introduction to Computational Thinking and Data Science, MIT via edX

6) Intro to Artificial Intelligence, Udacity

7) Machine Learning, Stanford University via Coursera (Andrew Ng)

8) 인공지능 및 기계학습, Kaist via K-mooc  (링크?)

9) Deep Learning for Natural Language Processing, University of Oxford



카카오 AI 리포트 Vol.3 (2017 May)


01. Research - 정수헌, 김대원 : ICML과 NIPS 발표논문 6,163건 메타 분석  (☞ Github)



02. Research - 김진화 : AI연구자들이 열광하는 ICML, NIPS


03. Research - 엄태웅 : 딥러닝 연구의 현재와 미래 part1. (1/2) 

1) Convolutional Network Models

2) Image Segmentation, Object Detection

3) Image, Video, Etc

4) Natural Language Processing, RNNs

5) Speech, Other Domains


04. Industry - 노명철, 이주영 : [AI in kakao] 사진에서 사람을 읽다

- R-CNN (region with convolutional neural network) : 영상에 선택적 탐색(selective search)라는 방법을 적용하여, 객체가 있을 법한 후보 영역(region proposal, RP)을 찾고, 각 RP에 컨볼루션 신경망(convolutional neural network, CNN)을 적용하여 객체를 분류한 뒤, 객체의 위치를 보정하는 방법

- Fast R-CNN : R-CNN의 시간문제를 개선한 방법으로 ROI Pooling (region of interest pooling)이라는 layer를 도입하여 CNN에서 얻어진 feature map의 일부 영역으로부터 정규화된 특징을 추출

- Faster R-CNN : RPN(regional proposal network)을 제안하고 CNN 이후 단계에 연결하여 이전의 방법들에서 사용했던 selective search를 대신함. PRN은 CNN에서 얻은 feature map으로부터 객체가 있을 것으로 보이는 영역을 제안하고 해당 영역은 Faster R-CNN과 도일하게 ROI Pooling을 통해서 정규화된 feature를 추출하고 그 feature로 객체를 판별하고 위치와 크기를 보정

source: 카카오 AI 리포트(Vol. 3)


05. Industry - 최예림 : 산업 현장 속으로 들어간 AI

플랫폼 효과란 시장을 지배하는 강력한 소수의 플랫폼으로의 집중 현상을 의미한다. 예를 들어, 구글은 웹에서의 검색 플랫폼, 이메일 플랫폼, 스마트기기 OS의 플랫폼으로써 막대한 양의 데이터를 수집하고 있다. 결국 이 데이터는 더 나은 성능의 AI 개발 원동력이 되어 다른 소규모 기업과의 격차를 점차 늘린다.


06. AI 유튜브 강의 모음

1) How we teach computers to understand pictures, Fei Fei Li

2) A Path to AI, Yann LeCun

3) Foundations and Challenges of Deep Learning, Yoshua Bengio

4) Deep Reinforcement Learning, John Schulman

5) Introduction to Generative Adversarial Networks, Ian Goodfellow

6) Feedforward neural network, Hugo Larochelle

7) Neural Networks for Machine Learning, Geoffrey Hinton

8) Deep Learning and Neural Net short course, Kevin Duh

9) Deep Learning for Self-Driving Cars, Lex Fridman


Precision(정확도)와 Recall(재현율), Accuracy, and etc. 는 알고리즘 및 Machine Learning 모델의 성능을 평가하는 지표로 많이 사용되고,

Confusion Matrix는 Training 을 통한 Prediction 성능을 측정하기 위해 예측 value와 실제 value를 비교하기 위한 표를 일컫는다.


■ 성능지표 및 용어 설명


용어

산출식

설명

 예

Accuracy (TP+TN)/(TP+TN+FP+FN) 탐지율 : 맞게 검출한 비율

실제 악성/정상인지 맞게 예측한 비율

Precision TP/(TP+FP)

정확도 : P로 검출한 것중 실제P의 비율

악성으로 예측한것 중 실제 악성인 샘플의 비율

Recall TP/(TP+FN)

재현율 : 실제 P를 P로 예측한 비율

실제 악성 샘플 중 악성으로 예측한 비율

False Alarm (Fall-out) FP/(FP+TN) 오검출율 : 실제 N을 P로 예측한 비율

실제 정상 샘플을 악성으로 예측한 비율

TPR (True Positive Rate) = Recall TP/(TP+FN)

예측과 실제 모두 P 

실제 악성 샘플을 악성으로 예측한 비율

TNR (True Negative Rate)

TN/(TN+FP)

예측과 실제 모두 N

실제 정상 샘플을 정상으로 예측한 비율

FPR (False Positive Rate) = False Alarm FP/(FP+TN)

실제 N인데 P로 검출

실제 정상 샘플을 악성으로 예측한 비율

FNR (False Negative Rate) FN/(TP+FN)

실제 P인데 N으로 검출

실제 악성 샘플을 정상으로 예측한 비율



■ Confusion Matrix




■ Precision, Recall, and the F measure 관련 참고 영상 (Stanford NLP, Prof. Dan Jurafsky & Chris Manning)




■ 주요 성능지표 산출식




* ref source : https://en.wikipedia.org/wiki/Confusion_matrix





■ TensorFlow


텐서플로우(TensorFlow™)는 데이터 플로우 그래프(Data flow graph)를 사용하여 수치 연산을 하는 오픈소스 소프트웨어 라이브러리이다. 그래프의 노드(Node)는 수치 연산을 나타내고 엣지(edge)는 노드 사이를 이동하는 다차원 데이터 배열(텐서,tensor)를 나타낸다. 원래 머신러닝과 딥 뉴럴 네트워크 연구를 목적으로 구글의 인공지능 연구 조직인 구글 브레인 팀의 연구자와 엔지니어들에 의해 개발되었다. 2017년 2월 v1.0이 Release 되었다.


텐서플로우 공식홈 : https://www.tensorflow.org

텐서플로우 블로그 : https://tensorflow.blog/

텐서플로우 한글 GitBook : https://tensorflowkorea.gitbooks.io/tensorflow-kr/



○ Tensor


TensorsFlow는 데이터를 tensor 데이터 구조를 이용하여 표현한다.

tensor는 n-dimensional Array 또는 List 라고 생각해도 무방하다.

TensorFlow에서 tensor는 rank 라는 dimension(차원)의 수로 표현된다. 

즉 Tensor rank는 tensor의 차원 수로, 예를 들어아래 tensor(Python 리스트)의 rank는 2 이다.

t = [ [1, 2, 3], [4, 5, 6], [7, 8, 9] ]



○ Shape

Shape은 Python의 리스트, 정수형 tuple 또는 TensorShape 클래스(class)로 표현 할 수 있다.
Tensor 차원을 표현할 때 "rank, shape, dimension 수"의 3가지 기호를 사용한다.






○ TensorFlow Dev Summit 2017


1) TensorFlow: Machine Learning for Everyone by Google Developers (4'04")

    

2) Highlights from the 2017 TensorFlow Dev Summit by Google Developers (1'34")


3) Keynote by Jeff Dean, Rajat Monga, and Megan Kacholia (29'55")


4) XLA: TensorFlow, Compiled! by Chris Leary and Todd Wang (48'32")


5) Hands-on TensorBoard by Dandelion Mane (23'47")


6) TensorFlow High-Level APIs: Models in a Box by Martin Wicke (17'12")


7) Integrating Keras & TensorFlow: The Keras Workflow, Expanded by Francois Chollet (18'44")


8) TensorFlow at DeepMind by Daniel Visentin (19'39")


9) Skin Cancer Image Classification by Brett Kuprel (8'39")


10) Mobile and Embedded TensorFlow by Pete Warden (30'44")


11) Distributed TensorFlow by Derek Murray (28'06")


12) TensorFlow Ecosystem: Integrating TensorFlow with Your Infrastructure by Jonathan Hseu (18'08")


13) Serving Models in Production with TensorFlow Serving by Noah Fiedel (19'20")


14) ML Toolkit by Ashish Agarwal (11'28")


15) Sequence Models and the RNN API by Engene Brevdo (32'19")


16) Wide & Deep Learning: Memorization + Generalization with TensorFlow by Heng-Tze Cheng (17'38")


17) Magenta: Music and Art Generation by Doug Eck (13'16")


18) Case Study: TensorFlow in Medicine - Retinal Imaging by Lily Peng (10'37")




○ TensorFlow Fold : Deep Learning with Dynamic Computation Graphs


https://github.com/tensorflow/fold/tree/master




○ 모두를 위한 머신러닝과 딥러닝 강의 (김성훈 교수님)


http://hunkim.github.io/ml/


○ 텐서플로우 강의 (이찬우 님)


https://www.youtube.com/watch?v=a74pFg8paVc



Regular Expression (정규표현식) 정의 : 문자열에 대한 표현을 메타 문자로 표기하는 것

Regular Expression 실행 : 실제 문자열을 정규표현식과 매칭여부 검증


import re


^

Matches the beginning of a line
문자열의 처음과 일치 (행의 시작)

$

Matches the end of the line
문자열의 마지막과 일치 (행의 마지막)

.

Matches any character
모든 문자와 일치, 개행문자(\n) 제외

\s

Matches whitespace
공백 문자와 매치 (\t, \n, \r, \f, \v)

\S

Matches any non-whitespace character
공백 문자가 아닌 문자와 매치 

*

Repeats a character zero or more times 

0회 이상 반복

*?

Repeats a character zero or more times (non-greedy)
0회 이상 반복 (최소일치)

+Repeats a character one or more times
1회 이상 반복
+?Repeats a character one or more times (non-greedy)
1회 이상 반복 (최소 일치)
[aeiou]

Matches a single character in the listed set
소문자와 일치

[^XYZ]Matches a single character not in the listed set
[a-z0-9]

The set of characters can include a range
범위내에 해당하는 문자, 숫자 (ex. 숫자찾기 - find_num = re.findall('[0-9]+',text) )

(

Indicates where string extraction is to start
( ) 괄호 안의 내용을 그룹화, reference를 생성

)Indicates where string extraction is to end
( ) 괄호 안의 내용을 그룹화, reference를 생성을 종료

 match( )

 문자열의 처음부터 정규식과 일치하는지 확인

 search( )

 정규식과 일치하는지 문자열 전체에서 검색

 findall( )

 정규식과 일치하는 모든 문자열(substring)을 리스트로 반환 

 finditer( )

 정규식과 일치하는 모든 문자열(substring)을 iterator 객체로 반환

 sub( )

 정규식과 일치하면 변경

 split( ) 정규식과 일치하면 split 하여 반환



다운로드가 가능한 정답셋이 있는(labeling 된) 공개 데이터셋 중에서, 신뢰성이 높으며 비즈니스케이스 활용 가능한 학습데이터


1) HTTP CSIC 2010 Dataset for Intrusion detection (Security) - http://www.isi.csic.es/dataset/ 

2) Multi-Source Cyber-Security Events Dataset (Security) - http://csr.lanl.gov/data/cyber1/ 

3) Air Quality Dataset (Public sector) - http://archive.ics.uci.edu/ml/datasets/Air+Quality# 

4) Gas Sensors for Home activity monitoring Dataset (Smart Home) - https://github.com/thmosqueiro/ENose-Decorr_Humdt_Temp 

5) Bank Marketing Dataset (Marketing, Retail) - http://archive.ics.uci.edu/ml/datasets/Bank+Marketing# 

6) Human Activity Recognition using smartphones Dataset (Marketing, Retail) - http://archive.ics.uci.edu/ml/datasets/Smartphone-Based+Recognition+of+Human+Activities+and+Postural+Transitions 

7) Credit Card Client in Taiwan (6 months) Dataset (Marketing, Finance) - http://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clients 

8) Online Retail Dataset (Marketing, e-Commerce) - http://archive.ics.uci.edu/ml/datasets/Online+Retail

9) MIMIC (Medical database)  - https://github.com/MIT-LCP/mimic-code  /  https://mimic.physionet.org/about/mimic/ 

Health-related data associated with over 40k patients who stayed in critical care units of Beth Israel Deaconess Medical Center 2001-2012.

Includes information about demographics, vital sign measurements (-1 data point per hour), lab test result, procedures, medications, caregiver notes, imaging reports, and mortality.

 


데이터 과학과 관련된 Coursera 강의 및 Machine Learning 관련 추천 강의 리스트


Machine Learning 

by Stanford University 


- Schedule : 11 Weeks

- Instructors : Andrew Ng

- Link : https://www.coursera.org/learn/machine-learning/

코세라 창업자이자 Machine Learning 의 4대 천황이라 알려진 앤드류 응(Andrew Ng) 교수가 직접 강의하는 코스로 Machine Learning 기본 개념을 쉽게 이해할 수 있다.




The Data Scientist’s Toolbox

by Johns Hopkins University 


- Schedule : 2016 March 14 ~ April 17

- Instructors : Jeff Leek, Roger Peng, Brian Caffo

- Link : https://www.coursera.org/learn/data-scientists-tools/

데이터 분석과 관련된 가장 쉬운 코스로 선수 지식이 없어도 수강하는데 무리가 없다. 





R Programming

by Johns Hopkins University 


- Schedule : 2016 March 21 ~ April 24

- Instructors : Roger Peng, Jeff Leek, Brian Caffo

- Link : https://www.coursera.org/learn/r-programming/

R을 이용해 데이터 분석하는 방법을 다룬다. 프로그래밍 지식이 부족하더라도 부담없이 들을 수 있는 코스이다.





Functional Programming Principles in Scala

by École Polytechnique Fédérale de Lausanne


- Schedule : 7 Weeks

- Instructors : Martin Odersky

- Link : https://www.coursera.org/course/progfun

스칼라 언어의 창시자인 마틴 오더스키(Martin Odersky)가 직접 강의하는 코스로 2014년 9월 진행되었던 강의





* 그 외 Machine Learning, Text Mining 관련 들어볼만한 강의


Web Intelligence and Big Data

by Indian Institute of Technology Delhi



Introduction to Computational Finance and Financial Econometrics

by University of Washington



Natural Language Processing

by Columbia University



Natural Language Processing

by Stanford University



Text Mining and Analytics

by University of Illinois at Urbana-Champaign



Statistics: Making Sense of Data

by University of Toronto







Cognitive Computing(인지컴퓨팅)은 1950년 튜링테스트를 시작으로 꾸준히 발전해 왔는데요, 1997년 IBM에서 개발한 Deep Blue는 체스 세계 챔피언을 이기며, 최초로 사람을 이긴 컴퓨터로 이름을 알렸습니다. 이후에도 IBM은 관련 연구를 지속적으로 수행해왔는데요, 드디어 2011년 IBM이 개발한 슈퍼컴퓨터 Watson이 jeopardy 퀴즈쇼에 출연하여 우승을 하며 본격적인 Cognitive 비즈니스 시대를 열게 됩니다. IT 전문가들은 Watson의 승리를 인공지는 개발사에 큰 획을 그은 역사적 사건으로 평가합니다. (* IBM은 Artificial Intelligence(인공지능) 라는 용어 대신에 Cognitive Computing, Cognitive Business 라는 용어를 주로 사용합니다.)



지금 이순간에도 Cognitive Computing은 지속적으로 발전하고 있는데요, 원동력이 되는 것은 기하급수적으로 증가하는 비정형 데이터 입니다. 2020년이 되면 매일 인당 143GB의 데이터를 생성하며 그 중 85%가 비정형 데이터가 될 것이라고 알려졌습니다.


Watson은 심도있는 자연어이해 기술(NLP)로 데이터 간의 연간관계까지 파악하여 정답을 찾게 됩니다. 또한 정답의 근거를 뒷받침하기 위한 가설 평가를 위해, 수백개의 알고리즘이 동시에 수행되고 스코어링 엔진을 통해 여러 개의 정답 후보 중 가장 정답일 확률이 높은 최종 정답을 도출해내게 됩니다. 알고리즘과 S/W기술 뿐만 아니라 수분내에 수천개의 문서와 문헌을 분석하는 컴퓨팅 파워 또한 Watson의 장점이라고 할 수 있습니다.



기술이 어느정도 성숙단계에 이르러 최근 Watson은 헬스케어, 금융, 로봇/통역, 쇼핑/호텔과 고객서비스 등 전천후로 비즈니스에 본격적으로 활용이 되고 있습니다.


헬스케어에 적용된 Watson은 의사들에게 임상 결과 해석에 도움을 주고, 환자의 진단과 치료를 개선하는데 도움을 주고 있습니다. 특히, 최근에는 뉴욕게넘센터와 유전체 의학 발전을 위한 협업을 통해 한해 1만3천명 이상의 목숨을 빼았는 악성 뇌종양을 가진 환자들을 대상으로 맞춤형 서비스를 제공하고 있습니다. 또한 Cognitive Computing 기술을 활용하여, 신약개발과 치료법 개발 프로세스의 혁신도 이끌고 있는데요, 약품/성분간의 상호작용을 연구하여 Bio 업계에게 청신호가 되고 있다고 합니다. 


금융업계에는 Watson Engagement Advisor가 적용이 되었는데요 DBS Bank의 우수고객을 대상으로 고객의 투자 선호도를 파악하고, 맞춤형 투자정보를 제공하는 맞춤형 자산관리 서비스를 제공하고 있습니다. 


또한 일본의 소프트뱅크와 협업하여 교육/금융/헬스키어/보험/유통시작 공략 뿐만 아니라 3rd party 개발자들을 위한 API와 개발 플랫폼을 제공함으로써 새로운 eco-system 구축에 본격적으로 나섰습니다. 이미 5,000여 스타트업들이 Watson Ecosystem Program을 신청하였고, 500여개 회사가 Watson 기반 솔루션 개발을 시작했고, 100여개 회사들은 이미 솔루션을 출시했습니다. 



Watson과 협력 개발된 소프트뱅크 로봇 페퍼(pepper)는 올해초 CES에 등장해서 많은 주목을 받았는데요, 이처럼 Watson은 하나의 제품이 아닌, 사람과 대화하는 사람을 돕는 역할을 하는 플랫폼으로 eco-system으로 앞으로도 계속 성장해나갈 예정입니다.

앞으로 우리는 Watson을 이용해서 무엇을 더 할 수 있을까요? 


Watson을 기술적으로 더 이해해보고 싶으신 개발자 분들을 위해 Watson의 기술을 조금 더 알아 볼 수 있는 방법과 자료들을 단계별로 공유 드립니다.

[입문] Watson 기술 맛보기 (왓슨의 기술에 대해 소개한 영상)

What is Watson? The Science Behind an Answer (6' 42")



일부 기술적인면에 대해 touch 하면서도, 개발을 업(業)으로 하지는 않으나 조금 더 심도있는 내용을 알고 싶어 하시는 분들을 위해 이해하기 쉽게 만들어진 소개 영상입니다. 이 영상들은 Watson이 자연어로 된 질문을 받고, 답변을 찾아내는데까지 어떤 분석 절차들이 수행되는지에 대해 단계별로 친절하게 소개를 해주고 있습니다. 영어가 조금 어렵다면, Machine Learning 을 통해 자동생성되는 자막을 이용해보세요! 다소 정확도는 떨어지지만 이해하시는데는 도움이 되실거에요.



[초급] Watson 기술 이해하기 (왓슨의 기술에 대해 소개한 영상)

Building Watson – A Brief Overview of the DeepQA Project  (21’ 41”)



Watson 개발을 총괄했던 David Ferrucci가 DeepQA 프로젝트와 Watson의 기술에 대해 직접 프리젠테이션을 하는 영상입니다. David는 Question Answering 시스템과 자연어처리 기술을 기반으로 하는 Watson이 질문을 받고, 답변을 찾아내는 데까지 어떻게 동작하는지, 시스템은 어떻게 구성되었는지에 대해 상세하게 설명을 하고 있습니다. 첫 번째 영상보다는 조금 더 기술적으로 가려운 부분을 긁어주는 친절한 설명서 같은 영상이랍니다. 



[중급] Watson Developer Cloud을 통해 Watson REST API 및 SDK 이용해보기 
(*30일 평가판 무료)  

IBM은 Watson의 API를 전세계 개발자들에게 클라우드 기반으로 무료로 제공하고 있습니다. 어플리케이션을 쉽게 개발할 수 있는 개발자 툴킷(Toolit), 교육자료 등도 제공되고 있고, 개발 중에 궁금한 사항은 Developer Community를 통해 궁금증을 해결할 수도 있답니다.

Watson Developer Cloud 와 Bluemix로 개발 시작하기

Experiment with Watson APIs [한국어]

△ IBM Blumix 개발 포탈 화면


Service Document와 API Reference 
Natural Language Classifier, Speech to Text, Text to Speech, Tradeoff Analytics 등 다양한 분석 기능들을 API 호출로 직접 사용해 볼 수 있고, Node.js 나 Java로 Watson Application을 직접 개발해 볼 수도 있답니다.

- Node.js 로 Watson Application 개발하기
- Java 로 Watson Application 개발하기

Github도 들렀다 가실게요~

Watson 개발자 커뮤니티 


[고급] Watson 관련 논문을 읽으며, IBM의 DeepQA 기술 A-Z 파헤쳐보기 
 
IBM은 2005년부터 Watson 개발을 시작했는데요, IBM의 “DeepQA Research Team”은 Watson의 모태가 되는 엔진 및 알고리즘을 개발한 연구조직입니다. DeepQA 연구팀은 NLP(자연어처리), ML(기계학습), IR(정보추출), KR&R(지식 표현 및 추론), 그리고 CL(제어언어)와 관련된 연구를 수행하며 2009년 2개, 2010년 4개, 2011년 16개, 그리고 2012년에는 무려 22개의 논문을 쏟아냅니다. 모두 Watson에 적용된 기술에 쓰인 논문들이죠. Watson이 Jeoperdy 퀴즈쇼에서 이긴 2011년 이후에도 2013년 9개, 2014년 3개, 2015년 4개 등 지속적으로 논문을 publish 하고 특허를 확보하면서, 지금도 꾸준히 Watson에 적용된 기술과 알고리즘을 발전시키고 있습니다.

△ Watson 을 개발한 Core Technical Team 의 2010년 조직구성


Watson의 내부를 속속들이 파헤쳐 보고 싶다구요? DeepQA팀의 연구원들이 Publish한 논문을 읽어보시면 Watson의 A-Z를 모두 만나보실 수 있답니다. 논문을 읽어보면 실험결과에 대한 재현이 가능하고, Reference 논문을 함께 참고하면 관련 기술의 맥을 파악할 수 있으며, Contribution을 통해 연구/개발자가 성능 향상을 위해 고민한 포인트까지 함께 느낄 수 있다는 장점이 있습니다.

The DeepQA Research Team’s Publications

수십 개가 넘는 논문을 읽기에 시간이 부족하신 여러분들을 위해, Watson이 자연어로 된 질문을 처리하고, 여러 개의 정답 중에 최종 정답을 선정하는 과정에 관련된 흥미로운 논문 몇 편을 추천하여 드립니다. 시간이 날 때 재미있게 읽어보세요! : D

추천 ① Introduction to “This is Watson”, D.A. Ferruchi
IBM Journal of Research and Development (Vol. 56), May/June 2012

추천 ② Question analysis: How Watson reads a clue, A. Lally외 7명
IBM Journal of Research and Development (Vol. 56), May/June 2012

추천 ③ A framework for merging and answer in DeepQA, DC Gonden외 8명
IBM Journal of Research and Development (Vol. 56), May/June 2012


P.S. 진실 혹은 거짓! Watson 2016년 미국 대선 출마 선언! 

왓슨2016닷컴(http://watson2016.com/)에 따르면 Watson은 노숙자의 종식, 전국민적인 의료보호체계, 무료 대학교육의 지지자로, 이 홈페이지는 ‘왓슨2016재단’에 의해 만들어진 것으로 Watson의 미국 대통령 출마를 지지하는 그룹이라고 합니다. IBM Watson 사업 관계자는 “Watson은 대선에 나가지 않는다”고 밝혔고, 현재 의료/교육 부문에서 연구하는데 집중한다고 의견을 표명했다고 알려집니다. 
Watson이 사람을 돕는 역할을 뛰어넘어, 점점 사람의 몫을 해내고 있기 때문에 이렇게 지지자들까지 생겨나고 대통령 출마설까지 생겨난 것은 아닐지… 정말 의미심장한 해프닝입니다. : D

△ 왓슨2016닷컴(http://watson2016.com)의 이미지. 물론 합성이다.




■ 딥러닝 (Deelp Learning)


(한글) 위키피디아 |  (영어) 위키피디아

Deep learning (deep structured learning or hierarchical learning) is a branch of machine learning based on a set of algorithms that attempt to model high-level abstractions in data by using model architectures, with complex structures or otherwise, composed of multiple non-linear transformations.


딥 러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합 으로 정의 되며, 큰틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기 할 수 있다.



Deep learning is part of a broader family of machine learning methods based on learning representations of data. An observation (e.g., an image) can be represented in many ways such as a vector of intensity values per pixel, or in a more abstract way as a set of edges, regions of particular shape, etc. Some representations make it easier to learn tasks (e.g., face recognition) from examples. One of the promises of deep learning is replacing handcrafted features with efficient algorithms for unsupervised or semi-supervised feature learning and hierarchical feature extraction.


Research in this area attempts to make better representations and create models to learn these representations from large-scale unlabeled data. Some of the representations are inspired by advances in neuroscience and are loosely based on interpretation of information processing and communication patterns in a nervous system, such as neural coding which attempts to define a relationship between the stimulus and the neuronal responses and the relationship among the electrical activity of the neurons in the brain.


Various deep learning architectures such as deep neural networks, convolutional deep neural networks, and deep belief networks have been applied to fields like computer vision, automatic speech recognition, natural language processing, audio recognition and bioinformatics where they have been shown to produce state-of-the-art results on various tasks.


어떠한 데이터가 있을 때 이를 컴퓨터가 알아 들을 수 있는 형태(예를 들어 이미지의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep believe networks와 같은 다양한 딥러닝 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되어 최첨단의 결과들을 보여주고 있다.


○ 딥러닝 알고리즘

   ☞ Deep Neural network (DNN)

   ☞ Convolutional Neural Network (CNN)

   ☞ Recurrent Neural Network (RNN)

   ☞ Restricted Boltzmann Machine (RBM)

   ☞ Multilayer perceptron



△ neural network (source: oreilly)



■ Artificial Intelligence & Deep learning (인공지능과 딥러닝) - 머니투데이 연재 내용 요약


[딥러닝 ①] 인공지능과 딥러닝 빅데이터 안고 부활하다 - 한상기, 소셜컴퓨팅연구소 대표

http://news.mt.co.kr/mtview.php?no=2015022514525399240

인공지능(Artificial Intelligence)의 역사에 대해 잘 정리된 글

인공지능의 역사 (History of AI)


인공지능 분야는 1956년 존 매카시, 마빈 민스키, 나다니엘 로체스터, 클로드 샤논 같은 당시 최고의 정보과학자들이 다트머스대학에 모여 창시했다. 이후 이 분야는 수많은 혁신과 좌절, 새로운 도전이 반복적으로 이뤄진 인간 지성의 도전 영역이다. 물론 지능에 대한 연구와 추론 및 논증 능력에 대한 철학적 접근, 다양한 자동화기기 발명은 인간 문명과 함께 한 오래된 영역이다. 하지만 우리가 이야기하는 인공지능은 컴퓨터 시대에 들어오면서 컴퓨터 과학자의 본격적 연구대상이 됐다고 볼 수 있다. 1950년 앨런 튜링이 ‘기계가 생각할 수 있는가?’라는 도발적 질문을 던진 ‘컴퓨팅 기계와 지능’ 논문은 이후 지능을 갖는 기계에 대한 기초적 사유를 제시했다. 가장 유명한 ‘튜링 테스트’라는 이미테이션 게임은 이후 지능을 가진 개체를 판단하는 가장 기초적인 기준으로 제시되기도 했다. 그러나 1956년의 학회가 인공지능의 효시로 불리는 것은 당시 ‘학습과 기타 다른 지능의 특징을 기계가 시뮬레이션 할 수 있을 것이다’라는 선언에서 비롯한다. 인공지능으로 명명한 연구분야가 시작된 것이다.


1970년대까지 학자들은 검색을 통한 추론, 자연어 분석, 마이크로 세계에 대한 모델링을 통해 매우 긍정적 전망을 했다. 그러나 문제를 너무 쉽게 생각했다는 현실에 부딪치면서 첫 번째 인공지능의 겨울을 맞이했고, 모든 연구 지원이 끊겨 버렸다. 다시 1980년대에 들어오면서 인간의 지식을 여러 방식으로 저장하고 이를 기반으로 하는 논리적 추론기능을 첨가하면서 새로운 방식의 인공지능 접근이 이뤄졌다. 그럼에도 불구하고, 대부분의 노력이 난관에 부딪쳤고, 영국과 미국 등에서 투입한 막대한 자금도 더 이상 지속하지 못하면서 1990년대 초까지 다시 제2의 인공지능의 겨울이 찾아왔다. 1990년대까지 인공지능 접근방식은 인간의 지식을 저장하고 이를 추론하는 것은 하향식으로 지능을 구현하는 방식이다. 그러나 우리는 어떤 지식을 다양한 경험과 데이터를 통한 학습과정으로 축적하는 경우가 많다. 이런 문제를 접근하는 것이 ‘머신러닝’이다. 머신러닝은 결정 트리, 클러스터링, 베이지안 네트워크, 연관 규칙, 귀납적 논리 계획법, 유전 알고리즘 등 다양한 방식이 개발돼 왔다. 


학습을 위한 또 다른 접근방식으로 ‘인공 뉴럴 네트워크(ANN)’라고 부르는 연결주의적 접근이 부침을 거듭하면서 성장했다. ANN의 발상은 인간의 신경망 구조를 모방하면서 입력으로 들어오는 정보를 각각의 입력 노드에 배정하고, 이들을 주어진 함수를 표현하는 네트워크로 출력 노드를 통해 결과를 얻어낸다는 아이디어에서 출발했다. 1958년 프랭크 로젠블라트의 퍼셉트론이 등장하면서 주목을 받았다. 퍼셉트론은 학습과 의사결정을 하며, 언어를 번역할 수 있을 것이라고 기대를 모았다. 그러나 1969년 마빈 민스키와 세이무어 페퍼트가 펴낸 ‘퍼셉트론’이라는 책에서 퍼셉트론의 한계가 비판받으면서 이후 10년 간 이런 방식의 연결주의적 연구는 중단됐다.


그러나 1980년 쿠니히코 후쿠시마의 네오코그니트론, 1982년 존 홉필드, 데이비드 러멜하트 등에 의해 새로운 유형의 뉴럴 네트워크가 제안되면서 다시 연구 집단의 관심을 받기 시작했다. 특히 오류역전파 알고리즘(Back Propagation)을 통한 학습기법이 효과적인 결과를 보이면서 일부 연구자들은 의욕적으로 이 분야에 매달렸다. 이런 뉴럴 네트워크를 학습의 주요 방식으로 사용하는 것을 ‘딥러닝(Deep Learning)’이라고 부른다. 뉴럴 네트워크를 다층 구조로 구성하면서 입력층과 출력층 사이에 하나 이상의 숨겨진 층을 갖고 이를 딥 뉴럴 네트워크(DNN, 심층 신경망)이라고 부르기 시작했기 때문이다. 예를 들어 손으로 쓴 글자를 인식하는 뉴럴 네트워크라면 입력한 글자에 대한 이미지를 나눠 각각의 단위 이미지를 입력 노드에 적용하고, 노드가 활성화되면서 그 값이 어떤 가중치를 갖고 다음 단계의 노드에 전달된다. 두 번째 단계의 노드 역시 여러 개의 입력된 값에 의해 활성화 여부가 결정되며, 다시 다음 단계의 노드에 영향을 준다. 이런 단계를 거쳐 최종 출력 노드가 활성화되는지 결정된다. 뉴럴 네트워크의 행위나 특성은 사실 각 연결 링크에 부여된 수정 가능한 가중치에 의해 결정된다고 볼 수 있다. 


뉴럴 네트워크의 출력 노드가 A라는 글자에 활성화되는 것이라고 하면, 이 뉴럴 네트워크는 A를 인지하는 능력을 가질 수 있는 것이다. A라고 확인된 다양한 이미지를 활용해 네트워크의 여러 값을 조정하는 과정을 학습이라고 부르며, (엄밀하게 말하면 가르치는 지도학습) 학습된 뉴럴 네트워크는 그 다음에 주어지는 임의의 이미지를 갖고 A인지 아닌지를 판별하게 되는 것이다. 알파벳을 인식하는 뉴럴 네트워크라면 26개의 출력 노드를 갖는다고 생각할 수 있다. 


딥러닝 모델로는 고전적인 콘볼루셔날, 오류 역전파, 볼츠만 머신 네트워크, 서포트 벡터 머신(SVM) 등의 초기 모델에서 2000년 이후에 등장한, 제한된 볼츠만 머신(RBM)이나 리커런트 뉴럴 네트워크(RNN), 드롭아웃(DROPOUT) 같은 매우 다양한 알고리즘이 있다. 


2004년 학계에 큰 변화가 일어났는데, 그 중심에는 토론토대학의 제프리 힌튼 교수가 있었다. 2004년 캐나다 첨단 연구소(CIFAR)에서 50만 달러 정도의 적은 펀딩을 제공하자 제프리 힌튼 교수는 뉴럴 컴퓨테이션과 어댑티브 퍼셉션(NCAP) 프로그램을 만들어 컴퓨터 과학자, 생물학자, 전기공학자, 뇌과학자, 물리학자, 심리학자를 초대했다. 힌튼 교수는 1984년에 볼츠만 머신을 제안한 인공신경망 연구의 선구자이며, 2012년에는 그의 제자들이 다국적 제약사인 머크에서 주최한 신약 발견 경진대회에서 우승을 차지하기도 했다. NCAP에는 뉴욕대 얀 레쿤과 몬트리올대학 요수아 벤지오 등이 참여했다. 


2000년대를 넘어서면서 딥러닝 방식은 이미지 인식과 음성인식에 큰 성과를 나타내기 시작했다. 특히 정보처리를 위한 빠른 프로세서의 값이 싸지면서 구성할 수 있는 노드 수가 늘어나고, 수많은 실제 데이터를 얻을 수 있는 상황이 만들어지면서 빅데이터를 통한 학습이 성과를 보이기 시작했다. 2009년에 들어와서는 지도학습 방식의 딥러닝 알고리즘이 대부분의 패턴인식 경쟁에서 기존 방식을 능가하기 시작했다. 


2011년 NCAP 연구자 중 하나인 스탠포드대 교수 앤드류 응은 구글 안에 딥 러닝 프로젝트를 구성했고, 음성인식과 구글 플러스의 사진 태깅에 딥러닝 기술을 활용하기 시작했다. 이 연구 그룹은 2012년 1만 6000개의 컴퓨터 프로세서로 10억 개 이상의 연결을 갖는 뉴럴 네트워크를 이용한 자율학습 방식의 딥러닝 기술을 적용해 유튜브 안에 있는 1000만 개의 이미지 중에서 고양이를 알아낸 결과로 언론의 주목을 받았다.



[딥러닝 ②] 상상 속 기계가 스스로 학습 기계로 - 정상근, SK텔레콤 미래기술원 연구원

http://news.mt.co.kr/mtview.php?no=2015022514490867206

인공지능(AI)의 태동에서부터 발달과정 History에서 주요 맥락(규칙기반 AI, 연결주의 AI, 통계기반 AI, 신경망 기반 AI)에 대해 잘 정리한 글

신경망 기반 AI 의 부활-딥러닝


딥러닝(Deep Learning)은 신경망 기반 AI 의 부활이라고 할 수 있다. 신경망 기반 AI 가 통계 기반 인공지능에 권좌를 내주었던 2000년대 초반부터 지금까지, 현대 사회는 ‘인터넷’ 과 ‘모바일의 시대’ 로 변화했다. 인터넷의 공공재화 그리고 모바일을 통한 연결의 증가는 곧 데이터의 폭발적 증가로 이어져 현대사회는 빅데이터 시대를 맞게 됐다. 


충분한 양의 데이터와 이를 처리할 컴퓨팅 파워의 확보, 그리고 신경망에 대한 이해와 기술발달은 이론적으로는 훌륭했지만 시대를 앞서 나갔던 신경망 AI 의 부활을 야기했고 과거 머신러닝 방법론이 줄 수 없는 특별한 장점들을 제공했다. 우선 사람이 자질을 직접 디자인 하지 않아도 데이터만 충분하다면 스스로 발견해 낼 수 있게 됐다. 예를 들어 사람을 인식한다면 딥러닝 방식은 사람이 미처 생각지 못하는 사람을 표현하는 자질들을 스스로 학습한다. 숫자 9와 6의 예처럼 9를 이용해 잘 학습된 숫자 인식 모델은 소량의 추가 학습을 통해 숫자 6 역시 잘 인식하게 만들 수 있다.


두 번째로는 사물을 분산표상 방식으로 학습해 표현함으로써 사물의 유사도 정보를 표현 체계 안에 포함(Embedding)시킬 수 있게 됐다. 이는 수학적 방식으로 사물의 유사도를 계산할 수 있게 됨을 의미한다. 


예를 들어 원 핫 레프레젠테이션을 취하던 기존의 머신러닝 방법에서는 사과[0,0,1], 배[0,1,0], 공[1,0,0] 사이의 유사도가 모두 같지만 딥러닝 방법에서는 사과와 배의 거리가 사과와 공보다 가깝게 표현될 수 있다. 딥러닝은 어느 한 문제를 잘 풀면 이 과정에서 학습한 데이터를 다른 문제에 그대로 재활용할 수 있다. 예를 들어 자연어 처리에서 형태소 분석 훈련을 통해 학습한 중간단계의 결과물들은 그대로 구문분석이나 번역 문제에 재활용하거나 직접 연결해서 사용할 수 있다.


딥러닝은 또 우리 주변에서 쉽게 구할 수 있는 데이터들을 모두 활용할 수 있다는 장점이 있다. 딥러닝은 교사 데이터를 활용하기 전에 주변에 있는 데이터들을 활용해 선학습(Pre-Training)을 수행한 후, 마지막으로 교사데이터를 활용해 최종 성능을 올리는 방식을 취한다. 적은 비용으로 구할 수 있는 일반 데이터들을 활용해 성능을 향상시킬 수 있는 토대를 제공하는 것이다.



[딥러닝 ③] 폭넓은 관심과 남다른 통찰로 딥러닝 시대 열어 - 이동윤, LG CNS 빅데이터분석컨설팅팀 연구원

http://news.mt.co.kr/mtview.php?no=2015022514293292353

딥러닝의 혁명을 이끈 대가들에 대해 소개한 글

- 제프리 힌튼(Geoffrey Hinton), 얀 레쿤(Yann LeCun), 요슈아 벤지오(Yoshua Bengio), 유르겐 슈미트후버(Jurgen Schmidhuber), 앤드류 응(Andrew Ng), 페이페이 리(Fei Fei Li), 루슬란 살라쿠트디노프(Ruslan Salakhutdinov), 데미스 하사비스(Demis Hassabis)



[인공지능과 딥러닝 ④] 진화하는 머신러닝 알고리즘 ... 점점 더 '사람처럼' 

- 최재식, 울산과학기술대 전기전자컴퓨터공학부 교수

http://news.mt.co.kr/mtview.php?no=2015022514262239360

머신러닝 & 딥러닝 알고리즘에 대해 소개한 글

- 베이지안 네트워크(Bayesian network), 신뢰 전파법(Belief Propagation), 제한적 볼즈만 기계(Restricted Boltzmann Machine), PAC(Probably Approximate Correct) 러닝, 에이다부스트(Adaboost), 랜덤 포레스트(Random Forest), 그레이디언트(Gradient) 부스팅, 초기 매개변수에 대한 선행학습 없이도 정확한 학습 가능한 CNN(Convolutional Neural Network), 순환 인공신경망(Recurrent Neural Network), 중첩 정리(superposition theorem)



[인공지능과 딥러닝 ⑤] 사람 알아보고 말 알아듣고 ... 알아서 학습 

- 김진형, 소프트웨어정책연구소장 / 김인중, 한동대학교 교수

http://news.mt.co.kr/mtview.php?no=2015022514170822557

기계학습과 딥러닝 알고리즘 발전 과정에 대해 상세히 소개한 글

딥러닝의 열풍


실제로 딥러닝은 최근 매우 다양한 응용분야에 적용돼 기존 방법을 압도하는 탁월한 성능을 보이고 있다. 음성 및 영상인식 분야에서 딥러닝은 당시 최고 기록들을 큰 차이로 넘어서는 놀라운 성능을 보였다. 필기한자 인식 경쟁에서 상위를 차지한 인식기들은 모두 딥러닝을 사용한 것이다. 페이스북은 딥러닝을 얼굴인식에 적용했다. 


2014년 97.25%의 인식률을 보이는 등 최고 기록을 보였다. 딥러닝은 대용량 물체인식에서도 탁월한 성능을 보여준다. 2012년 이후 대부분의 상위 랭커들은 딥러닝에 기반한 방법을 사용하고 있다. 국내에서도 한동대학교가 필기한글 인식에 딥러닝을 적용, 우수한 성과를 거뒀다. 네이버와 다음도 음성인식에 적용해 상당한 성능 개선효과를 얻은 바 있다.


딥러닝 학습을 위한 컴퓨팅 환경이 좋아졌다고는 하지만, 많은 데이터에 깊은 신경망을 학습시키기에 대학의 컴퓨팅 능력은 제한적이다. 구글이 수행한 고양이를 인식하는 할머니 뉴런 구축 실험에 얼마나 많은 컴퓨팅 능력이 필요했는지가 이를 잘 보여준다. 그동안 여러 대학의 실험에서는 저수준 특징을 추출하는데 그쳤다. 하지만 구글팀은 유튜브에 올려진 1000만 건이 넘는 영상을 입력, 1만 6000개의 CPU를 이용해 10억 개의 연결강도를 학습시켜 3일 만에 성공적으로 고양이를 인식하는 할머니 뉴런을 학습했다. 


인간의 두뇌는 100조 개의 연결로 구성돼 있다고 하니 갈 길은 멀다. 딥러닝 기술은 MIT가 2013년을 빛낼 10대 혁신기술 중 하나로 선정했고 가트너는 2014 세계 IT시장 10대 주요 예측으로 꼽았다. 애플, 구글, 마이크로소프트, 페이스북, 바이두 등 세계적인 기업들이 딥러닝에 집중하고 경쟁적으로 학계의 전문가들을 영입하고 있다. 대학의 과학자들이 더 깊고 큰 신경망을 학습시키기 위해 컴퓨팅 능력을 갖춘 기업 연구소로 이직하는 현상이 일어나고 있다.



[인공지능과 딥러닝 ⑥] 일자리 둘러싼 인간과 컴퓨터의 생존경쟁 - 도강호 기자

http://news.mt.co.kr/mtview.php?no=2015022514122770344

인간보다 뛰어난 능력을 보이는 기계(인공지능)에대해 간략히 소개하고 이로 인한 인간의 마래 일자리 변화 대한 고찰 




[인공지능과 딥러닝 ⑦] 멀리 보고 황금알 낳을 거위를 키워라 - 강동식 기자

http://news.mt.co.kr/mtview.php?no=2015022514085950507

딥러닝 기술개발 조건과 꾸준한 연구가 어려운 국내 풍토에 대해 지적한 글

미국과 2년 넘는 인공지능 기술격차


73.1과 2.3년. 이 두 가지 숫자는 우리나라의 인공지능 기술수준을 나타내는 수치다. 


73.1은 인공지능 분야에서 가장 앞선 국가인 미국의 기술수준을 100이라고 했을 때 우리나라의 인공지능 기술수준이고, 2.3년은 미국과의 인공지능 기술격차를 기간으로 환산한 것이다. 국가 산업기술 연구개발을 기획·평가·관리하는 한국산업기술평가관리원이 2013년 산업기술수준조사를 통해 이 같은 수치를 도출했다.


최근 우리 정부와 연구기관, 민간기업들이 인공지능에 대한 투자와 연구를 강화해 2013년에 비해 기술수준이 높아졌을 것으로 보인다. 하지만 미국의 글로벌 IT기업들이 우리 기업과는 비교가 안 될 정도의 막대한 투자를 바탕으로 인공지능, 특히 딥러닝 분야에 대한 연구를 강화해온 것을 감안하면, 2013년 이후 현재 미국과 한국의 인공지능 기술격차가 줄어들었다고 보기 어렵다.


또 산업기술평가관리원의 같은 조사에서 국내 인공지능 기술수준은 유럽과 일본에도 뒤지는 것으로 나타났다. 미국을 기준으로 유럽은 85.7, 일본은 83.7의 인공지능 기술수준을 갖춘 것으로 평가돼 우리나라보다 10점 이상 높았다. 



[인공지능과 딥러닝 ⑧] 구글 · IBM · 페이스북 · 애플, 치열해지는 주도권 경쟁 - 최현숙 기자

http://news.mt.co.kr/mtview.php?no=2015022514063559191

글로벌 기업의 딥러닝 전략에 대해 소개한 글

‘어려운 일은 쉽고, 쉬운 일은 어렵다(Hard problems are easy and easy problems are hard)’는 모라벡의 역설(Moravec’s Paradox)은 인공지능의 한계를 보여준다. 천문학적 단위의 수를 계산하거나 복잡한 수식을 푸는 것이 쉬운 반면, 사람이 무의식적으로 하는 보고, 듣고, 느끼고, 인식하는 모든 일상의 행위가 컴퓨터에게는 어렵다는 말이다. 


최근 머신러닝, 특히 딥러닝 기술의 비약적인 발전으로 인공지능이 이 같은 한계를 넘어설 조짐을 보인다. 딥러닝 권위자 앤드류 응 스탠퍼드대 교수는 지난해 10월 MIT테크놀로지리뷰의 엠테크(EmTech) 컨퍼런스에서 “전통적인 알고리즘의 경우 투입되는 데이터의 양이 많아질수록 속도가 느려지고 결국 작동을 멈추게 되는 반면, 딥러닝 알고리즘은 데이터를 많이 넣을수록 잘 동작하는 것이 가장 큰 매력”이라고 말했다. 인공지능의 큰 걸림돌이었던 방대한 정보와 연산능력이 딥러닝의 경우 오히려 좋은 결과를 내는 요인인 것이다. 응 교수는 또 딥러닝 기술의 빠른 발전속도를 들며 곧 음성인식과 시각 검색에서 대대적인 발전이 있을 것이라고 예측했다. 


인공지능을 통해 인식 성능이 높고 사용하기 편한 서비스를 제공하면 이용자가 늘고 그만큼 데이터도 늘어날 것이다. 데이터가 쌓일수록 딥러닝을 통해 영리해지고, 이미지나 음성 등의 인식률이 높아진다. 이용자가 늘어날수록 인공지능의 기능이 향상돼 다른 회사와의 기술 격차가 더 커질 것이다. 지금 글로벌 IT 대기업들은 ‘승자 독식’의 전쟁 한복판에 서 있는 셈이다. 



[인공지능과 딥러닝 ⑧-1] 사람의 뇌에 '구글'을 이식하다 - 최현숙 기자

http://news.mt.co.kr/mtview.php?no=2015022514033652676

구글(Google)의 딥러닝 전략


△ 2014년 구글은 사진 이미지를 문장으로 묘사하는 기술을 선보였다. 오른쪽으로 갈수록 오류가 있다.



[인공지능과 딥러닝 ⑧-2] MS의 새 승부수, 인공지능 비서 '코타나' - 도강호 기자

http://news.mt.co.kr/mtview.php?no=2015022513564643448

마이크로소프트(MS)의 딥러닝 전략

- '코타나(Cortana)'는 MS Xbox의 인기게임 헤일로에 등장하는 인공지능 캐릭터 이름이다.


△ '애저(Azure)' 머신러닝을 활용한 데이터 분석 결과



[인공지능과 딥러닝 ⑧-3] 사진 속 얼굴, 사람처럼 맞춘다 - 조아름 인턴기자

http://news.mt.co.kr/mtview.php?no=2015022513534188113

페이스북(Facebook)의 딥러닝 전략


△ 딥페이스를 이용해 미국 배우 실베스터 스텔론의 얼굴을 인식하는 과정



[인공지능과 딥러닝 ⑧-4] 왓슨 · 시냅스 칩으로 '인공두뇌' 완성 - 최현숙 기자

http://news.mt.co.kr/mtview.php?no=2015022513504343895

IBM의 딥러닝 전략

△ IBM의 인공두뇌 개념과 시냅스 칩의 발전



[인공지능과 딥러닝 ⑧-5] 개인비서 시대 연 '시리' 제2 도약할까 - 임혜지 인턴기자

http://news.mt.co.kr/mtview.php?no=2015022513474452937

애플(Apple)의 딥러닝 전략


△ 애플(Apple)의 시리(Siri)



[인공지능과 딥러닝 ⑧-6] 관심 · 돈 · 사람 ... 딥러닝을 위한 모든 것을 갖췄다 - 강동식 기자

http://news.mt.co.kr/mtview.php?no=2015022512024725523

중국 기업 바이두(Baidu)와 알리바바(Alibaba)의 딥러닝 전략


△ 2014년 5월 바이두에 합류한 앤드류 응(Andrew Ng)




[인공지능과 딥러닝 ⑨] 9회 말 역전 만루홈런 꿈꾼다 - 강동식 기자

http://news.mt.co.kr/mtview.php?no=2015022511592421092

국내 기업의 딥러닝 전략에 대해 소개한 글

국내 민간 영역에서 가장 활발하게 딥러닝에 대한 연구와 활용이 진행되는 곳으로 네이버가 꼽힌다. 네이버는 2012년 말부터 딥러닝을 연구하기 시작해 2013년 딥러닝을 적용한 음성인식 검색 서비스를 출시했고, 현재는 N드라이브 사진 분류 서비스와 지식iN 서비스에도 딥러닝을 적용하고 있다. 최근 다음카카오도 인공지능에 대한 투자를 강화하고 있다. 이 회사는 즉답 검색 서비스, 여행지 추천 서비스 등 검색 서비스에 머신러닝을 적용해 서비스 품질을 높이고 있다.


인공지능도 기술 스타트업의 역할이 중요한 분야로, 이미 글로벌 IT대기업들은 스타트업의 기술을 확보하기 위해 인수합병(M&A)에 나서고 있다. 국내도 최근 인공지능 분야의 스타트업이 하나 둘씩 나타나고 있어 기대감을 갖게 한다. KAIST 출신의 이미지 인식기술 스타트업인 클디는 지난해 글로벌 IT 대기업과 선도적인 대학 출신 팀들이 참가한 세계 이미지 인식 대회 ‘ILSVRC’에서 물체 분류 및 위치 인식부문 7위에 올라 관심을 모았다. 이 회사는 올해 사업방향을 명확하게 설정하고 서비스를 시작할 계획이다. 


또 다른 인공지능 스타트업인 솔리드웨어는 머신러닝 기술 기반의 알고리즘을 활용하는 기업용 빅데이터 분석 솔루션을 제공하고 있다. 딥러닝, 부스팅, SVM 등 다양한 머신러닝 알고리즘을 보유한 솔리드웨어는 최적화된 머신러닝 알고리즘을 적용해 악사(AXA)다이렉트코리아와 각종 데이터 분석을 통해 예측모델을 만들고 있다.


한편, 국내 대형 보험사도 고객의 답변 결과를 꾸준히 축적한 데이터를 딥러닝 기술을 활용해 분석해 이용자의 건강상태를 예측하는 프로젝트를 진행하고 있다. 게임 분야에서도 인공지능이 관심을 모으고 있다. 특히 엔씨소프트가 인공지능에 남다른 열정을 보이고 있다. 김택진 엔씨소프트 대표는 지난해 말 “엔씨소프트가 집중하고 있는 새로운 혁신은 인공지능 기술이다. 인공지능을 기반으로 한 게임 플레이를 만드는 일에 많은 개발자가 젊음을 불태우고 있다”고 말했다. 


인공지능 기술 전담팀인 AI랩을 운영하고 있는 엔씨소프트는 올해 선보이는 게임들에 인공지능을 적용할 것으로 알려졌다. 또 박용만 두산그룹 회장은 올해 대한상공회의소 신년사에서 과감한 혁신과 투자에 나서 시장을 선도해야 할 기술로 사물인터넷, 3D프린팅과 함께 인공지능을 꼽았다. 이처럼 대기업 회장까지 인공지능을 직접 언급하는 것은 국내에서도 인공지능의 중요성에 대한 공감대가 형성되고 있다는 반증으로 풀이된다.


한동안 인공지능이 주목받지 못했던 대학에서도 최근 들어 관련 연구가 활발해지고 있으며, 성과도 나타나고 있다. 장병탁 서울대 교수팀은 최근 만화영화를 보고 그림(물체)과 언어(단어)가 연합된 개념을 습득하며 스스로 지능을 향상시키는 ‘상상력 기계(Imagination Machine)’를 개발했다고 밝혔다. 연구팀에 따르면, 이 기계에 1232분 분량의 유아 애니메이션 ‘뽀로로’ 에피소드 183개를 스캔했고, 실험 결과 뇌신경망을 닮은 연상 메모리 구조가 장면과 대사간 의미적 관계와 시간적 줄거리를 학습했다. 


학습 후에는 그림을 통해 연상 작용으로 추론해 대응되는 언어 대사를 생성하고, 대사가 주어지면 그림을 추론했다. 연구팀은 스캔하는 영화 데이터를 변경해 다른 도메인 지식도 습득할 수 있다고 설명했다. 정부도 최근 인공지능 기술 개발에 투자를 강화하기 시작했다.


한국전자통신연구원, KAIST, 포스텍, 솔트룩스 등 26개 연구기관 366명이 참여하는 엑소브레인 프로젝트가 대표적이다. 2013년 시작된 이 프로젝트는 2023년까지 10년 간 총 연구비 1070억 원이 투입되며, 1단계가 종료되는 2017년에는 IBM 왓슨을 따라잡고 2단계부터는 컴퓨터 스스로의 지식학습을 통해 지식을 축적하는 기술을 확보하는 것을 목표로 하고 있다. 



[인공지능과 딥러닝 ⑨-1] 한 발 앞서 딥러닝 적용... 검색 품질 개선이 최종 목표 - 도강호 기자

http://news.mt.co.kr/mtview.php?no=2015022511514749833

국내 AI 대표주자 - 네이버의 딥러닝 전략



[인공지능과 딥러닝 ⑨-2] 딥러닝으로 무명 스타트업서 글로벌 루키 도약 - 조은아 기자

http://news.mt.co.kr/mtview.php?no=2015022511492540059

국내 AI 대표자 - 이미지 인식 기술 기업, 클디(Cldi, www.cldi.io)



[인공지능과 딥러닝 ⑨-3] 최적의 머신러닝으로 숨은 가치 찾는다 - 도강호 기자

http://news.mt.co.kr/mtview.php?no=2015022511013987122

국내 AI 대표주자 - 기업(특히 금융회사)용 머신러닝 기반 빅데이터 분석 솔루션 기업, 솔리드웨어(Solidware, solidware.io)



[인공지능과 딥러닝 ⑨-4] 앞선 음성인식 기술, 영상으로 확장 - 도강호 기자 

http://news.mt.co.kr/mtview.php?no=2015022510561563182

국내 AI 대표주자 - 다음카카오




[인공지능과 딥러닝 ⑨-5] 전문가 수준 인공두뇌 개발 목표 - 도강호 기자

http://news.mt.co.kr/mtview.php?no=2015022510532195143

국내 AI 대표주자 - 한국전자통신연구원(ETRI)





+ Recent posts