머신러닝(Machine Learning) 기본 개념(Basci Concept)

머신러닝은 주어진 데이터를 훈련시켜(training), 훈련된 지식을 기반으로 새로운 입력(test input)에 대해 적절한 답(test output)을 찾고자 하는 일련의 과정이라고 말할 수 있습니다. 

이때 훈련시키는 데이터가 질문(training input)과 정답(training output)이 모두 주어진 경우가 있고, 질문만 주어진 경우가 있습니다. 전자의 경우를 라벨링(Labeling)이 되어 있다고 말합니다.

1. 지도학습(Supervised Learning)

훈련 데이터에 라벨링이 되어 있는 경우. 

즉, 각 질문(input)에 대해 무엇이 정답(output)인지 훈련데이터가 알고 있는 경우입니다. 

예를 들면 (2, 4) -> (8), (4, 3) -> (12), 이런 식으로 훈련데이터가 주어져 있다는 것입니다.

ex) regression - (x,y)글의 데이터를 가지고 모함수 y=f(x)의 관계를 예측하는 방법

Classification - 각 그룹별 특징을 학습하여 새로운 데이터가 어느 그룹에 속해야 하는지 판단하는 방법

2. 비지도학습(Unsupervised Learning)

데이터만 잔뜩 주어집니다. 

즉 문제는 있는데 답은 없습니다. 

우리가 할 수 있는 건, 문제 유형 정도를 구분할 수 있겠습니다. 

이를 clustering이라고 합니다.  

ex) clustering - 어떠한 데이터끼리 군집으로 묶을 수 있는지 판단하는 방법

Dimension reduction - 독립적인 특징(축)들을 추출해 이를 중심으로 데이터를 압축하는 저차원으로 압축하는 방법

★ 요즘 비지도학습에 PCA(Principle Component Analysis, 주성분 분석) 알고리즘을 적용하고 딥러닝(Deep Learning)+오토엔코더(Autoencoder)로 확대되면서 인공지능 분야를 가장 핫한 분야가 되게 하였습니다.  이 부분은 나중에 정리해 보도록 하겠습니다.

3. 강화학습(Reinforcement Learning)

미리 정답이 주어져 있진 않고, 시행마다 잘한 정도를 보상(reward)하여 줍니다(이는 동물들이 학습하는 방법과 유사).

ex) 엘레베이터 스케쥴링, 컴퓨터 체스, 복잡한 로봇의 제어 등등

4. 그 외 : 일부만 라벨링이 되어 있는 경우도 있고, 정보가 점진적으로(incremental) 주어지는 경우도 있고, 데이터가 너무 많은 경우, 적은 경우 등 다양한 기계학습 문제가 존재합니다.

아래 그림은 scikit-learn(파이썬에서 많이 사용하고 있는 머신러닝 라이브러리) 관련 사이트에서 머신러닝 알고리즘을 한 눈에 볼 수 있도록 맵으로 제시하고 있습니다. 

머신 러닝에 대한 전체 윤곽을 그려볼 수 있어서 앞으로 머신러닝을 배워나가는 길잡이로 알고 있으면 좋습니다. 

원본 맵 보기(http://scikit-learn.org/stable/tutorial/machine_learning_map/)

Jupyter Notebook이란

Jupyter Notebook은 오픈 소스 웹 애플리케이션으로 라이브 코드, 등식, 시각화와 설명을 위한 텍스트 등을 포함한 문서를 만들고 공유하도록 할 수 있습니다. 

주로 데이터 클리닝과 변형, 수치 시뮬레이션, 통계 모델링, 머신 러닝 등에 사용할 수 있습니다.

Jupyter Notebook은 Python, R, Julia, Scala 등 데이터 과학 분야에서 인기있는 40종의 다양한 프로그래밍 언어를 지원합니다. 또한, 이메일, 드롭박스, 깃허브 등으로 공유할 수 있습니다. 가장 큰 장점은 실시간으로 인터렉티브하게 데이터를 조작하고 시각화할 수 있도록 해준다는 점을 것입니다.

신규 사용자는, Anaconda를 설치하는 것을 권장합니다. Anaconda는 과학적 컴퓨팅과 데이터 사이언스를 위해 필요한 라이브러리들을 대부분 포함하고 있기 때문입니다.

추가적으로 말씀드리자면, python 라이브러리들에 대한 관리를 pyenv와 virtualenv(python 가상 환경)을 사용해서 관리하는 것이 좋습니다.  

1. Jupyter Notebook 시작

터미널에서 

>>> jupiter notebook

을 입력하세요.

그러면, 기본 웹 브라우저에서 다음과 같은 Notebook Dashboard가 구동되는 것을 볼 수 있을 것입니다.

위 화면에서 확장자가 .ipynb인 파일을 클릭해 이미 작성된 Notebook을 실행시킬 수 있고, 오른쪽 상단의 New버튼을 눌러 팝업 메뉴에서 python[defalut] 또는 python[conda root]를 선택해서 새로운 Notebook을 열 수도 있습니다.(참고로, 새로운 Notebook을 선택하는 Python[conda root, default, 2, 3]는 anaconda로 실행했을 때와 python에 별도로 jupyter notebook 관련 라이브러리를 설치하고 실행했을 때 조금 다르게 보일 수 있습니다)

2.  Jupyter Notebook 사용해 보기

새로운 Notebook을 실행하고, 각 셀에 파이썬 코드 및 등식, 설명을 입력합니다.설명 및 등식을 입력하려면, 아래 그림과 같이 상단 가운데 선택 메뉴에서 마크다운(Markdown)을 선택하고 입력하면 됩니다. 다 입력한 후에는 Shift+Enter(또는 Ctrl+Enter)로 실행 명령을 내립니다.

3. 단축키

<Command Mode>

- Enter : 에디트 모드(Edit Mode)로 진입- Y : 코드(Code) 셀로 전환- M : 마크다운(Markdown) 셀로 전환- R : Raw NB 셀로 전환- 1~6 : 마크다운 H1~H6- a : 위에 셀 삽입- b : 아래 셀 삽입

<Edit Mode>

- Tab : 코드 자동완성, 들여쓰기- Ctrl+] : 들여쓰기(intent)- Ctrl+[ : 내어쓰기(detent)- Ctrl+a : 전체 선택- Ctrl+z : 실행 취소(undo)- Esc : 커맨드 모드(Command mode)로 진입- Shift+Enter : 셀 실행하고 다음 셀 선택- Ctrl+Enter : 셀 실행- Alt+Enter : 셀 실행하고, 아래 셀 삽입

Jupyter Notebook도 제대로 사용하려면 생각보다 많은 것을 배워나가야 할 것 같네요. 그래도 위에 열거한 

기본적인 사항만 알면 실행하는데 크게 문제는 안되리라 생각합니다. 

요즘 파이썬을 배워서 진출할 수 있는 직업 중에 데이터 사이언티스트가 핫한 것 같다. 4차 산업혁명과 함께 많이들 선호하고 있는 상태가 되었다.

하지만, 언론, 소셜 등에서 너무 많은 관심을 보이는 것이 거품이 될까 우려가 좀 된다. 2000년 초에 인터넷 기업 붐이 엄청나게 일어나고, 갑자기 거품이 꺼졌을 때 처럼 될 것 같아 보이기 때문이다. 

요즘 가장 열광하는 단어는 단연 AI일 것이라고 생각한다. 

그런데, 머신러닝(machine learning), 그 중에서 딥 러닝(deep learning)에 집중하는 것은 인터넷 자체가 혁신을 일으킬 것처럼 말했던 상황을 답습하는 것이 아닐까 하는 생각이 든다.

가장 중요한 것은 고객에게 제공하는 서비스, 제품일 것이다. 그래서 고객의 요구사항(애로사항)을 파악하는 것이 무엇보다 중요할 것이다. 

이런 관점을 갖고, 데이터와 AI의 결합을 바탕으로 고객들이 원하는 서비스(제품)을 만드는 기업 또는 사람이 되어야 한다고 믿는다.

'소프트웨어(데이터)가 모든 세계를 지배하는 세상'이라는 말은 디지털화된 데이터와 그것을 다루는 기술인 AI(그 중에서 머신 러닝)가 보편화된 세상을 말한다고 본다. 인터넷처럼 우리 생활에 스며들 것이기 때문에,  AI를 다루는 것과 데이터를 다루는 것은 기본이 될 것이다. 

앞으로 이것을 통해 어떤 가치를 고객에게 제공하느냐가 중요한 생존의 문제가 될 것이라는 것이다. 

사람들이 필요로 하는 가치(서비스, 제품)을 제공하는 수준까지 가기 위한 여정을 막 시작했다고 생각한다.

그럼, 가장 기본이 되는 라이브러리부터 알아보도록 하자.

데이터 사이언티스트들이 파이썬에서 사용하는 라이브러리들은 Numpy, Scipy, Pandas, Scikit-Learn 등이 있다. 

요즘에는 구글의 딥 러닝 라이브러리인 tensorflow의 인기가 높다.

tensorflow에 대해서는 따로 알아보도록 할 것이다.

1. Numpy, Scipy

Numpy와 Scipy는 숫자 및 과학 계산을 수행하기 위한 라이브러리라고 할 수 있다

Numpy는 기본 계산 기능을 가진 다차원 배열과 유용한 선형대수학 함수를 지원한다.

Scipy는 숫자 알고리즘 집합과 신호 처리, 최적화, 통계 등을 포함한 도메인에 특화된 기능을 지원한다.

(참고로, Matplotlib는 데이터 시각화를 위한 많은 툴을 가지고 있다)

2. Pandas

Pandas는 고성능의 데이터 구조와 데이터 분석 툴을 제공한다. 

Pandas의 주요 특징은 통합된 인덱싱과 함께 데이터 조작이 가능한 빠르고 효율적인 DataFrame 객체이다. 

DataFrame 구조는 매우 유연한 방법들로 작업이 가능한 스프레드시트처럼 볼 수 있다.

 재구조화하고, 행과 열을 추가하거나 제거하는 것을 통해 원하는 방식으로 어떤 데이타셋으로든 쉽게 변경할 수 있다. 

또한 데이터셋 간에 계산을 하고, 병합하고, 합류하는 고성능의 기능을 제공한다. 

또한, Pandas는 다른 형태의 포멧(CSV, EXCEL, SQL 데이터베이스, HDF5)으로부터 데이터를 가져오거나 내보낼 수 있는 툴을 가지고 있다. 

많은 경우, 이들 포멧들에 있는 데이터는 완벽하거나 전체적으로 구조화되어 있지 않을 것이다. 그런 경우, Pandas는 빠진 데이터를 핸들링하고 지능적으로 데이터를 정렬할 수 있도록 해준다. 

게다가, Pandas는 편리한 Matplotlib 인터페이스를 제공한다.

3. Scikit-learn

Scikit-learn은 Numpy, Scipy와 Matplotlib로 만들어진 머신 러닝 라이브러리이다.

Scikit-learn은 계층화, 회귀, 클러스터링, 차원 감소, 모델 선택과 전처리 같은 데이터 분석에 필요한 단순하고 효과적인 툴을 제공한다.

PS) 라이브러리별로 첨부한 정리 시트를 제공하는 원본 출처 및 원본 시트를 받고자 하시면 아래 링크를 보시기 바랍니다.

https://www.continuum.io/blog/developer-blog/learning-python-data-science-cheat-sheets

다음 편에는 Jupyter Notebook 환경에 대해 알아보도록 할 예정이다.

그럼 이만...

빅 데이터의 시대를 살아가기 위한 플로우 리딩

1만권 독서법

을 보면, 기존의 독서와 조금은 다른 관점이 존재하는 것을 알 수 있습니다. 

빠르게 읽기와 다독이 그 핵심입니다.

어제부터 지하철에서 일독일행이라는 책을 읽고 있다. 

독서에 대해서는 어느 정도 자신감이 붙어 있었는데, 이 책을 보다 보니, 내가 혹시 책만 읽는 바보가 아닌가 하는 생각이 들었다. 읽기만 하고 그 다음 내 것으로 만드는 일을 하지 않는 그런 바보 말이다. 저자의 뚝심과 실행력, 그리고 이룩한 일을 보면서 내 자신을 돌아보게 된다. 난 너무 겁이 많고, 안일하게 살고 있다는 것이다. 

내 나이가 45살이다. 이미 새로운 일을 하기에는 늦었다는 주변 반응이 내 발목을 잡는다. 무엇보다도 내 스스로가 발목을 잡는다. 과연 내가 새로운 일을 할 수 있을까? 안정적인 직장을 뿌리치고 나갈 수 있을까? 아니면 이 자리에서 일을 해가면서 새로운 일을 찾아보는 것은 어떨까? 이렇게 어중간한 상태로 15년 이상을 살아온 것은 아닐까 자문해 본다. 내가 가고 있는 길이 내게 맞지 않음을 잘 알면서 편하다는 이유로 서서히 변화해 가고 있다는 위로로 시간을 계속 보낸 것은 아닌가 싶다.

이 책의 가장 핵심은 '성경을 천 번 만 번 읽으면 뭐하나? 그렇게 행동하지 않는다면 차라리 읽지 않는 편이 낫다'라고 한 배우고 익혀서 실행하라는 것이라고 생각한다. 책만 읽는 바보가 되지 말고, 본인에게 필요한 문장을 뽑아, 가장 잘 보이는 곳에 적어두라고 말한다. 사람은 망각의 동물이기 때문에 매일 보고 또 보라고 한다. 그리고, 자신의 실천 지침을 만들어서 매일 지침을 잘 수행하고 있는지 체크해서 습관화하는 것이 중요하다고 말한다.

그래서, 오랜만에 블로그에 글을 남긴다. 이 책의 저자가 강조한 실천을 하는 것이다. 나도 매일 블로그에 글을 하나라도 쓰자고 다짐했건만, 그걸 실행하는 것이 생각처럼 되지 않았다. 그래서, 꽤 오랫동안 블로그를 방치해 왔었다.

오늘 다시 쓰는 것을 시작한다. 파이썬을 공부하면서 슬럼프에 빠지고 안개 속을 헤매는 것 같은 느낌을 지우기 위해서라도 공부한 것을 정리하고 하루 하루 실천한 것을 내 것으로 만들기 위해 블로깅을 하도록 하자.

< 뇌 과학자 김대식 교수>가 한 말도 책에 나온다.

"책을 읽을 때는 가능하면 펜을 들고 여백에 메모를 하는 게 좋다. 책에 담긴 것은 남의 생각이고, 읽기만 하면 그 생각에 세뇌당하는 꼴이지만, 내가 생각하고 뭔가 주석을 달면, 즉 글을 쓰면 그 지식은 내 것이 된다. 내가 다시 한 번 소화하고 처리하는 과정에서 가장 좋은 방법은 글을 쓰는 것이라고 알려져 있다."

책을 읽어서 내 것으로 만드는 것을 치열하게 다시 하도록 하자. 

무너진 자신감을 회복하기 위해서 내 자신을 다시 한번 담금질 하는 것이다. 어제 서울대 데이타 과학 센터 홈페이지에 들어 갔었다. 그곳에서 공부하는 학생들이 무척 부럽고, 한 편으로 내 자신이 무척 초라해 보였다. 무엇 하나 제대로 내 것으로 만든 것이 없는 것 같아, 자괴감마저 들었었다. 스스로에게 자심감을 불러 일으켜 주기 위해 내가 하고 있는 일에 집중하는 것이 어떤 일보다 더 필요하기에, 지금 글을 쓰고, 실천하도록 하자.

하나 더, 너무 삶의 여유없이 지내는 것이 아닌가 싶다. 시간에 쫓기듯이 살아가고 있다. 집중력도 떨어지고, 이 나이가 되도록 성취한 것이 보잘 것 없이 느껴진다. 내 자신에 대한 느낌을 훌훌 털어버리고, 실행하는 것에 더 힘을 쏟아 붓자.

늦었다고 생각할 때가 바로 적기라고 생각한다. 지금 이 순간을 살아가는 것이 내게 가장 중요하다. 힘들 때마다 잊지 않기를...

1주일 동안 '하버드 집중력 혁명'이라는 책을 읽었다. 에드워드 할로웰(Edward Hallowell) 박사가 쓴 책인데, 하버드 대학교 의과대학 교수이자 자타가 공인하는 '주의력 결핍 치료'분야의 세계 최고 전문가라고 한다.

이 분이 이 책을 통해 말하고자 하는 것은 원하는 것과 잘하는 것에 집중하는 삶을 얻는 데 필요한 지식과 지혜를 전하고자 한다는 것이다. 어쩌면 이 분이 말하는 것이 누구나 다 알고 있는 방법일지 모른다는 생각이 들었다. 그렇지만 이 분은 실제 이 방법들을 사람들에게 적용해 보았기 때문에 나에게도 효과가 있으리라는 믿음이 생긴다.

집중력을 높여주는 3가지 요소를 체계와 새로움, 동기부여라고 정의하고 이 3가지 요소를 함께 고려해야 한다고 말하고 있다. 또한 자신에게 매우 중요하면서 약간 어려워 능력을 최대한 발휘해야 하는 활동을 하는 것이 몰입하는 비결이라고 말하고 있다.

그리고 몰입을 항상 할 수 없으니, '몰입'과 '집중' 사이의 '유연한 집중' 상태에 머무를 수 있도록 하자고 말한다. 이는 하나의 목표에 초점을 맞춘 결연하고 명료한 정신 상태를 가리키는 용어라고 한다. 유연한 집중은 역설을 내포하고 있는데, 뇌의 논리적인 부분과 창조적인 부분에 동시에 의지하면서 그 사이에서 균형을 잡야 한다는 것이다.

책에서 말하는 집중하는 방법을 발췌해 보았다. 참고하시길

1. 전자기기를 끈다. 일과 중 방해받지 않고 집중할 수 있는 시간을 원할 때는 전자기기를 모두 꺼놓는다.

2. 자기 방식을 믿는다. “내 방식대로 했어”라는 말은 가장 상투적으로 쓰이는 노래 가사일 테지만 이 구절을 그렇게 많이 사용하는 이유는 여기에 담긴 메시지가 매우 강력하기 때문이다. 우리는 자기 방식대로 일을 처리할 때 가장 집중하고 최선을 다한다. 사람들은 모두 자기만의 통상적인 일 처리 방식과 개별화된 과정 혹은 최선의 결과물을 얻기 위한 방법을 갖고 있다. 자기가 지금 어디로 향하고 있는지 목적지를 모를 때에는 그런 과정이나 업무 방식에 무의식이 개입한다. 무의식이 길을 안내하면 더없이 귀중한 것을 발견하거나 예상 밖의 해결책을 얻을 수 있다. 자신의 기질을 거스르지 말고 최대한 협력하도록 하자.

3. 휴식을 취한다. 도취된 느낌 또는 제정신이 아닌 듯한 느낌이 들면 하던 일을 중단해야 한다. 자리에서 일어나 주변을 돌아다니거나 물을 한 잔 마시고 스트레칭을 하자. 60초만 쉬어도 효과가 있다.

4. 어려운 일을 한다. 사람들은 평소보다 어려운 일에 도전하거나 숙련된 분야에서도 기술을 최대한 발휘해야 할 때 좀더 일에 몰두한다. 놀랍게도 불가능해 보이던 일이 종종 가능해진다.

5. 도움을 청한다. 뜻밖의 장벽에 부딪혔을 때 도움을 구하는 일을 나약하다고 여기지 말자. 이는 오히려 혼란스러운 장소에서 빠져나와 자신을 다시 정상 궤도에 올려놓는 강인한 행동이다.

6. 여유를 가지자. 현대인의 생활에 적용되는 가장 정확한 규칙은 스스로 여유를 가지지 않으면 다른 사람이나 일이 그걸 앗아간다는 것이다. 자신의 시간을 빈틈없이 지키자. 시간은 가장 귀중한 소유물이다. 불가피하지 않은 이상 자기 시간을 쉽게 내주거나 다른 사람이 당신의 시간을 통제하도록 해서는 안 된다.

7. 눈을 감자. 집중력을 잃거나 혼란스러운 기분이 들 때 의자에 편안하게 앉아서 눈을 감는 단순한 행동만 취해도 상황을 명확하게 바라볼 수 있다. 집중력을 되찾고 새로운 방향을 볼 수 있다.

8. 그림을 그린다. 시각적인 요소는 사고를 명확하게 한다. 도표를 그리거나, 표를 만들거나, 아이들이 손가락으로 그린 그림처럼 종이 위에 지그재그 모양을 잔뜩 그리거나, 여러 관용구와 화살표로 종이 위를 뒤덮거나, 색연필이나 매직펜을 사용하는 것도 좋다. 이젤이나 포스터에 그림을 그리면서 단어를 건너뛰고 틀을 확대하여 모든 종류의 시각적 요소를 받아들인다. 흐릿하던 큰 그림이 뚜렷해질 것이다.

9. 자신에게 말을 건다. 큰 소리로 혼잣말을 하다보면 혼란에서 벗어날 수 있다. 이런 행동이 허용되는 상황에 있다고 가정하고 해결하려고 노력 중인 문제에 대해 이야기 해보자. 큰 소리로 말할 때는 조용히 생각에 잠길 때와 다른 뇌 부위가 활성화된다. 이것이 눈앞을 가린 안개를 걷어낸다.

10. 효과적인 방법을 이용한다. 관습이나 남들이 당연하게 여기는 방법에 얽매이지 말자. 어떤 사람은 음악이 흐르거나 시끄러운 장소에서 집중을 더 잘하고, 어떤 사람은 걷거나 달릴 때 집중력이 올라간다. 이른 아침에 집중력이 최고조에 이르는 사람이 있는 반면 한밤중에 집중이 가장 잘되는 사람도 있다. 어떤 사람은 추운 방에서, 어떤 사람은 사우나에서, 어떤 사람은 단식 중에, 또 어떤 사람은 뭔가를 먹는 가운데 집중이 잘되기도 한다. 정해진 방ㄹㄹ식은 없다. 당신에게 가장 잘 맞는 최선의 방식이 있을 뿐이다. 여러 방법을 실험해서 자신에게 효과적인 방법을 찾아내자.

저가 헤드폰과 아이폰 번들 이어폰만 사용하다가, 간만에 올레샵 25% 쿠폰을 사용해서 소니 MDR-1ABT를 구매했다. 

역시 소니가 부활하긴 했다. 사용시간이 길어서 충전에 대한 부담이 없고, 맥 미니를 연결해서 듣고 있는데 소리가 나쁘지 않다. 크게 음악의 질을 가리지 않는데, 그렇다고 아예 막귀는 아니라 이 정도면 좋다고 생각한다.

물론 소니의 새로운 오디오 코덱인 LDAC는 CD급 음원과 함께 고음질 음원에도 최적화되어 있다고 하던데, 출력할 수 있는 기기가 없어서 들어보지는 못했다. 그래도 블루투스로 된 다른 이어폰들에 비해 확실히 안정적으로 유선과 비슷한 음질을 보여주고 있다. 이것만으로도 만족한다.

근데 한번 LDAC를 지원하는 기기를 통해 들어보고 싶은 마음이 생기는 건 어찌해야 할지...

파이썬에 대해서 공부하다 보니, 처음에는 매우 쉽다고 생각하다가 시간이 갈수록 참 방대하구나 하는 느낌이 든다.

앞으로 익숙해지려면 좀 시간이 걸리겠구나. 그러면, 내가 배우는 내용을 정리해 나가는 것도 괜찮은 방법이 될 것이라 생각하게 되었다.

우리 나라에는 아직 파이썬이 일반화되지 않아서 그런지 특정 분야의 사람들만 아직 사용하고 있고, 기초적인 사항은 있는데 아직 심도있는 부분을 정리한 곳은 거의 찾아볼 수가 없는 것 같다. 물론 실력있는 분들은 꽤 계시다. ^^ 

나처럼 파이썬을 배우고자 하는 사람들에게 기초와 응용에 대한 아이디어를 줄 수 있는 곳이 되도록 노력할 것이다. 

파이썬이 코딩 언어로써 얼마나 인지도가 있는지 최근 3년간 현황을 보면,

2013년 29.8% 2014년 30.3% 2015년 31.2%로 가장 인기가 좋고, 지속적으로 시장을 확장하고 있다는 것을 알 수 있다.

배우기 쉽고, 인터프리터 방식으로 동적 타이핑 환경을 구성할 수 있다는 점, 그리고 빠른 개발 환경에 적당한 것이 인기를 끄는 매력이 아닐까 생각한다.