요즘 읽고 있는 ML책 중, 예제를 통해 머신러닝 프로젝트 실행 프로세스를 처음부터 끝까지 배우는 부분이 있어, 정리해 봅니다.
머신러닝을 배우는 데 있어 실제 세상의 데이터를 가지고 프로젝트를 수행해 보는 것이 최상일 것입니다. 실제 데이터를 미국에서는 정말 많이 공짜로 제공하고 있습니다. 실 데이터를 가지고 머신러닝 실습을 하게 되면 무척 도움이 많이 될 것입니다.
우선 내용이 길어 글을 나눠서 올리도록 하겠습니다.
전체 순서는
1. 문제를 정의하고 전체 그림 바라보기
2. 데이터 얻기
3. 인사이트를 찾기 위해 데이터 탐색하기
4. 기본 데이터 패턴을 머신러닝 알고리즘에 더 잘 노출할 수 있도록 데이터 준비하기
5. 다양한 모델을 탐색하고 그 중 가장 좋은 모델을 찾기
6. 모델을 알맞게 튜닝하고 멋진 솔루션으로 통합하기
7. 시스템 런칭, 모니터링과 유지하기
순입니다.
이번에는 1~2번까지 정리해서 올리도록 하겠습니다.
참고로, 오픈 데이터셋 중에서 가장 인기있는 3곳의 링크는 아래와 같습니다.
다른 곳도 있지만, 이곳을 가장 많이 애용한다고 하네요.
UC Irvine Machine Learning Repository (http://archive.ics.uci.edu/ml/)
Kaggle datasets (https://www.kaggle.com/datasets)
Amazon's AWS datasets (https://aws.amazon.com/fr/datasets/)
그럼, 지금부터 StatLib repository의 캘리포니아 집값 데이터셋을 가지고 머신러닝 프로젝트를 만들어 볼 것입니다.
이 데이터셋은 1990년의 캘리포니아 인구조사 데이터를 기반으로 하고 있습니다.
1. 문제를 정의하고 전체 그림 바라보기
첫번째 해야 할 일은 캘리포니아 인구조사 데이터를 사용해 캘리포니아 집값 모델을 만드는 것입니다. 이 데이터는 캘리포니아의 각 블록 그룹에 대한 인구, 중간 소득, 중간 집값 등 같은 메트릭스로 구성되어 있습니다. 블록 그룹은 미국 인구조사국이 제공하는 가장 작은 지리적 유닛(블록 그룹은 통상 600~3,000명의 사람들로 구성)입니다. 우리는 간단히 '지구(districts)'라고 부를 것입니다.
그럼 이제 정확하게 이 데이터를 가지고 무엇을 하려고 하는 것인지를 분명히 하는 것으로 시작해야 합니다. 문제를 어떻게 정하느냐에 따라 문제를 정의하고 어떤 알고리즘을 선택해서, 성능을 측정할지가 정해지기 때문입니다.
여기서는 주어진 데이터를 통해 지구별 가격을 예측해서, 어느 곳에 투자하는 것이 이익을 가장 많이 얻을 수 있는지 알아보는 것을 문제로 정했습니다.
그 다음 확인할 사항은 현재 실행되고 있는 해결 방안이 어떻게 이루어지고 있는지 파악하는 것입니다.
여기서는 현재 지역별 집값을 전문가들이 직접 측정하고 있다고 합니다: 지구별 최신 정보를 팀이 모으고, 측정을 위해 복잡한 규칙을 적용합니다. 이것은 비용과 시간이 소모되고, 측정값이 훌륭하지도 않습니다; 통상 에러율이 약 15% 수준입니다.
이 모든 정보를 가지고 이제 시스템 디자인을 시작합니다.
첫째, 문제에 대한 프레임이 필요합니다: 지도학습, 비지도학습, 또는 강화학습? 분류 업무, 회귀 업무, 또는 그 밖에 다른? 배치 학습 또는 온라인 러닝 기술을 사용해야 하는지? 등을 결정해야 합니다.
이것은 분명히 라벨링된 훈련 예제들(각 인스턴스들은 기대되는 아웃풋과 함께 제시, 예를 들어 각 지구의 중간 집값)이 주어진 통상적인 지도학습 업무입니다. 게다가, 값을 예측해야 하기 때문에 전형적인 회귀 업무입니다. 더 특별하게는, 이 시스템이 다양한 피처들(features)을 사용해서 예측을 만들기 때문에 다변량 회귀 문제입니다(지역별 인구, 중간 수익값 등을 사용할 것입니다). 마지막으로 빠르게 변화하는 데이터를 반영할 필요가 없고, 데이터도 메모리에서 처리가 적당할 정도로 적기 때문에, 배치 러닝을 사용하는 것으로도 충분할 것입니다.
* 데이터가 크다면, 멀티 서버를 통해 배치 러닝 작업을 분할할 수도 있습니다(예를 들어 MapReduce 기술을 사용). 또는 온라인 러닝 기술을 사용할 수도 있습니다.
다음 단계는 성능 측정을 선택하는 것입니다. 회귀 문제에 대한 전형적인 성능 측정은 시스템이 만든 예측값들의 에러들에 대한 표준 편차를 측정하는 RMSE (Root Mean Square Error)를 사용합니다. 예를 들어, RMSE가 50,000과 같다는 것은 시스템이 예측한 68%가 실제 50,000에 포함된다는 의미입니다. 그리고 예측값의 95%가 실제 100,000 값들에 포함된다는 것입니다.
RMSE가 일반적으로 회귀 업무에 있어 선호되는 성능 측정이긴 하지만, 몇몇 문맥에서 다른 기능을 사용하는 것을 선호할 수 도 있습니다. 예를 들어, 특이값을 갖는 지구가 많이 있다고 가정해 보자. 그러한 경우에, Mean Absolute Error(MAE)를 사용하는 것도 고려해 볼 수 있습니다.
RMSE와 MAE 모두 두개의 벡터값 거리를 측정하는 방법들입니다: 예측 벡터와 타겟값 벡터. 다양한 거리 측정, 또는 규칙들이 가능합니다.
마지막으로, 지금까지 만들어진 가정들을 리스트하고 검증합니다. 이를 통해 심각한 이슈사항을 찾을 수 있습니다. 예를 들어, 시스템 아웃풋인 각 지구별 값을 정확하게 예측하는 것보다 카테고리(예, 싼, 중간, 비싼)로 가격을 변환해서 처리하는 것이 더 나을 수도 있습니다. 이럴 경우, 이 문제는 회귀 업무가 아니라, 분류 업무로 재정의되어야 할 것입니다. 몇 달 동안 회귀 시스템 구축을 추진한 후에 분류 업무로 처리해야 한다는 말을 듣고 싶지는 않을 것입니다. 그렇기 때문에, 초기에 피드백을 받는 것이 중요합니다.
2. 데이터 얻기
자, 이제 손을 사용해 봅시다.
바로 랩탑을 열고 Jupyter 노트북에서 다음의 코드 예제를 열어봅시다.
먼저, 파이썬을 인스톨해야 합니다(이미 다 했겠죠?).
다음으로는 머신러닝 코드와 데이터셋을 위한 작업 디렉토리가 필요합니다. 더 필요한 라이브러리들은 다음과 같습니다: Jupyter, Numpy, Pandas, Matplotlib, Scikit-Learn. 여기서는 이미 다 설치했다고 가정하겠습니다.
(Jupyter notebook 환경에서 실행하는 것을 가정했습니다. 다른 환경에서는 아래 코드가 제대로 실행되지 않을 수 있습니다)
>>> import os
>>> import tarfile
>>> from six.moves import urllib
>>> DOWNLOAD_ROOT = "https://raw.githubusercontent.com/ageron/handon-ml/master/"
>>> HOUSING_PATH = "datasets/housing"
>>> HOUSING_URL = DOWNLOAD_ROOT + HOUSING_PATH + "/housing.tgz"
>>> def fetch_housing_data(housing_url=HOUSING_URL, housing_path=HOUSING_PATH):
if not os.path.isdir(housing_path):
os.makedirs(housing_path)
tgz_path = os.path.join(housing_path, "housing.tgz")
urllib.request.urlretrieve(housing_url, tgz_path)
housing_tgz = tarfile.open(tgz_path)
housing_tgz.extractall(path=housing_path)
housing_tgz.close()
함수 fetch_housing_data()를 불러오면, 작업 디렉토리에 datasets/housing 폴더를 만들고, housing.tgz파일을 다운로드 합니다. 그리고, 이 디렉토리에 housing.csv파일을 압축해제 합니다.
그 다음에 pandas를 사용해 데이타를 로드해 봅시다. 데이터를 불러오기 위해 다음 코드를 씁니다
>>> import pandas as pd
>>> def load_housing_data(housing_path=HOUSING_PATH):
csv_path = os.path.join(housing_path, "housing.csv")
return pd.read_csv(csv_path)
위 함수는 모든 데이터를 포함한 pandas 데이타프레임을 불러옵니다.
그 다음에 데이터 구조를 빠르게 살펴봅니다.
>>> housing = load_housing_data()
>>> housing.head()
각 열은 하나의 특정 속성을 나타냅니다. 여기에는 10개의 속성들이 있습니다 : longitude, latitude, housing_median_age, total_rooms, total_bedrooms, population, households, median_income, median_house_value, ocean_proximity.
>>> housing.info()
이 데이터셋에는 총 20,640개의 레코드들이 있습니다. 머신러닝 표준에서는 매우 적은 수의 데이터들입니다. 그러나, 처음 시작하기에는 완벽합니다.
info()로 확인한 바에 의하면, bedrooms 속성이 20,433개의 non-null 값을 가지고 있습니다. 이것은 207개의 레코드의 값이 없다는 것을 의미합니다. 그리고 모든 속성들이 숫자들입니다. ocean_proximity를 제외하구요. ocean_proximity의 type은 object로 파이썬의 어떤 object라도 담을 수 있습니다. 위 head()를 잘 살펴보았다면, ocena_proximity가 text속성을 가지고 잇다는 것을 알 수 있을 것입니다. 또한, 이 컬럼의 값이 반복된다는 것을 알아챘다면, value_counts() 메소드를 통해 각 카테고리에 얼마나 많은 값들이 있는지 알아낼 수 있을 것입니다.
>>> housing["ocean_proximity"].value_counts()
<1H OCEAN 9136
INLAND 6551
NEAR OCEAN 2658
NEAR BAY 2290
ISLAND 5
Name: ocean_proximity, dtype: int64
다른 필드를 봅시다.
describe() 메서드는 숫자 속성들의 요약을 보여줍니다.
>>> housing.describe()
count, mean, min과 max 열은 자명합니다. null 값들이 무시된 것을 주의하시기 바랍니다(예를 들어, total_bedrooms의 count는 20,640이 아니라 20,433입니다). 25%, 50%와 75% 열은 해당 백분위 수를 보여줍니다. 예를 들어, housing_median_age의 25%는 18보다 작다는 것을 알려줍니다. 50%는 29보다, 75%는 37보다 작습니다. 이것은 흔히 25th 백분위(또는 1 분위수), 중앙값, 그리고 75th 백분위(3 분위수)로 불립니다.
지금 다루고 있는 데이터 형태를 느끼기 위한 빠른 다른 방법은 각 숫자 속성에 대한 히스토그램을 그리는 것입니다.
>>> %matplotlib inline # 주피터 노트북에서만 가능합니다.
>>> import matplotlib.pyplot as plt
>>> housing.hist(bins=50, figsize=(20,15))
>>> plt.show()
(주피터 노트북에서 위의 명령어를 입력하고 실행해야 Matplotlib를 백그라운드에서 쉽게 이용할 수 있습니다)
위 히스토그램에서, median_income 속성은 미국달러로 표현된 것처럼 보이지 않습니다. 머신러닝에서는 보통 전처리된 속성들로 작업합니다. 그래서, 문제가 되지는 않습니다만, 데이터가 어떻게 계산되었는지 파악하려는 노력을 해야만 합니다.
housing_median_age와 median_house_value값 모두 상한선이 있습니다. 이것이 문제가 될지 안될지 점검하는 것이 필요합니다.
많은 히스토그램들의 꼬리가 깁니다. 중앙값보다 오른쪽으로 더 많이 깁니다. 이것은 몇몇 머신러닝 알고리즘에 있어 패턴을 인식하는데 더 어려움을 줄 수 있습니다. 나중에 이들 속성들이 종 모양의 분포를 가질 수 있도록 속성들에 변형을 주도록 할 것입니다.
테스트 셋 만들기
이론적으로 테스트 셋을 만드는 것은 매우 간단합니다 : 랜덤하게 몇몇 인스턴스를 선택합니다. 통상 데이터셋의 20%를 선택해서, 따로 설정해 둡니다.
>>> import numpy as np
>>> def split_train_test(data, test_ratio):
shuffled_indices = np.random.permutation(len(data))
test_set_size = int(len(data) * test_ratio)
test_indices = shuffled_indices[:test_set_size]
train_indices = shuffled_indices[test_set_size:]
return data.iloc[train_indices], data.iloc[test_indices]
위 함수를 아래처럼 사용합니다:
>>> train_set, test_set = split_train_test(housing, 0.2)
>>> print (len(train_set), "train +", len(test_set), "test")
16512 train + 4128 test
이것이 동작하긴 하지만, 완벽하지는 않습니다. 만약 이 프로그램을 다시 작동시키면, 이것은 다른 테스트 셋을 생성할 것입니다! 하나의 해결책은 처음 작동시에 테스트 셋을 저장하는 것입니다. 다른 옵션은 np.random.permutation()을 호출하기 전에 랜덤 숫자 제너레이터 씨드를 설정(예를 들어, np.random.seed(42))하는 것입니다. 그러면 항상 동일한 수치들은 생성할 것입니다.
위 두개의 해결책은 다음 번 업데이트된 데이터셋을 패치할 때 깨질 것입니다. 일반적인 해결책은 테스트 셋에 가야할 지 말아야 할지를 결정하기 위해 각 인스턴스의 식별자(인스턴스들이 고유하고 불변의 식별자를 가지고 있다고 가정)를 사용하는 것입니다. 예를 들어, 각 인스턴스의 식별자의 해시를 계산하고, 그 해시의 마지막 바이트만 간직합니다. 그리고 그 값이 51(256의 20%)보다 작거나 같다면 테스트 셋에 그 인스턴스를 집어넣습니다. 이렇게 하면 여러번 실행되는 동안, 데이타셋을 리프레시할 때 조차도 테스트 셋이 일관성을 유지하게 됩니다. 새로운 테스트 셋은 새로운 인스턴스의 20%를 포함할 것입니다. 하지만, 이전 트레이닝 셋의 어떤 인스턴스도 포함하지 않습니다. 아래 실행 가능한 코드가 있습니다.
>>> import hashlib
>>> def test_set_check(identifier, test_ratio, hash):
return hash(np.int64(identifier)).digest()[-1] < 256 * test_ratio
>>> def split_train_test_by_id(data, test_ratio, id_column, hash=hashlib.md5):
ids = data[id_column]
in_test_set = ids.apply(lamda id_: test_set_check(id_, test_ratio, hash))
return data.loc[~in_test_set], data.loc[in_test_set]
불행히도, housing 데이타 셋은 식별자 컬럼을 가지고 있지 않습니다. 간단한 해결책은 ID로써 열 인덱스를 사용하는 것입니다.
>>> housing_with_id = housing.reset_index() # '인덱스'컬럼 추가
>>> train_set, test_set = split_train_test_by_id(housing_with_id, 0.2, "index")
만약 고유한 식별자로 열 인덱스를 사용한다면, 새로운 데이터가 데이터 셋 마지막에 추가되는 것을 확인하는 것이 필요합니다. 그리고 어떤 열도 삭제되지 않아야 합니다. 이것이 불가능하다면, 고유한 식별자를 만들기 위해 가장 안정적인 피처를 사용하도록 해봐야 할 것입니다. 예를 들어, 지구(district)의 위도와 경도가 수백년 동안 안정된 것으로 보장될 것입니다. 그래서 이 둘을 ID로써 병합할 수 있습니다.
>>> housing_with_id["id"] = housing["longitude"] * 1000 + housing["latitude"]
>>> train_set, test_set = split_train_test_by_id(housing_with_id, 0.2, "id")
사이킷런(Scikit-Learn)은 다양한 방법으로 데이터셋을 여러 개의 서브 셋으로 나누는 함수들을 제공합니다. 가장 간단한 함수가 train_test_split입니다. 앞에서 정의한 split_train_test 함수와 매우 많은 부분이 동일합니다.
>>> from sklearn.model_selection import train_test_split
>>> train_set, test_set = train_test_split(housing, test_size=0.2, random_state=42)
지금까지 순수 랜덤 샘플링 메서드를 살펴보았습니다. 이것은 데이터셋이 충분히 크다면(특히 속성들의 수와 비례해서), 일반적으로 훌륭합니다. 그러나 그렇지 않은 경우에는 상당한 샘플링 편차가 발생할 수 있습니다. 설문조사 회사가 1,000명에게 설문을 돌릴 때, 단순히 전화번호부에서 무작위로 1,000명을 뽑지는 않습니다. 예를 들어, 미국 인구는 51.3%의 여성과 48.7%의 남성으로 구성되어 있습니다. 그래서 미국에서 잘 만든 설문조사는 샘플에서 이 비율(513명의 여성과 487명의 남성)을 유지하려고 할 것입니다. 이것을 층화(stratified) 샘플링이라 부릅니다: 인구는 지층이라 불리는 균질한 하위 집단으로 나뉘어 집니다 . 테스트 셋이 전체 모집단을 대표할 수 있도록 하기 위해 각 계층에서 올바른 숫자의 인스턴스들이 샘플링됩니다. 만약 순수 랜덤 샘플링 메서드를 사용했다면, 49% 여성보다 더 적거나 54% 여성보다 더 많은 편향된 테스트 셋을 샘플링할 확률이 12%나 됩니다. 어느 쪽이든, 설문조사 결과가 상당히 편향될 것입니다.
전문가들이 중간(median) 집값을 예측하기 위해 중간(median) 소득이 매우 중요한 속성이라고 말했다고 가정해 봅시다. 테스트 셋이 전체 데이터셋의 다양한 카테고리의 소득들을 대표하는 것이 확실하기를 원할 것입니다. 중간(median) 소득이 연속된 숫자 속성이기 때문에, 최초에 수입 카테고리 속성을 만드는 것이 필요합니다. 중간(median) 소득 히스토그램을 더 자세히 들여다 봅시다.
대부분의 중간 소득 값은 2-5 사이입니다. 하지만 몇몇 중간 소득들은 6을 넘습니다. 데이터 집합에 각 계층별 충분한 수의 인스턴스들을 갖는 것이 중요합니다. 그렇지 않으면 지층별 중요성에 대한 추정치가 편향될 수도 있습니다.
다음 코드는 1.5로 나눈 소득 카테고리 속성을 만듭니다. 그리고 ceil을 사용해 반올림(이산 카테고리를 갖게 됩니다)합니다. 그 다음에 5보다 큰 모든 카테고리를 카테고리 5로 합칩니다.
>>> housing["income_cat"] = np.ceil(housing["median_income"] / 1.5)
>>> housing["income_cat"].where(housing["income_cat"] < 5, 5.0, inplace=True)
이제 소득 카테고리에 기반한 층화(stratified) 샘플링을 할 준비가 되었습니다. 사이킷런(Scikit-Learn)의 StratifiedShuffleSplit 클래스를 사용할 수 있습니다.
>>> from sklearn.model_selection import StratifiedShuffleSplit
>>> split = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=42)
>>> for train_index, test_index in split.split(housing, housing["income_cat"]):
strat_train_set = housing.loc[train_index]
strat_test_set = housing.loc[test_index]
기대한대로 동작하는지 봅시다. 먼저 전체 housing 데이터셋에서 소득 카테고리 비중을 봅시다.
>>> housing["income_cat"].value_counts() / len(housing)
3.0 0.350581
2.0 0.318847
4.0 0.176308
5.0 0.114438
1.0 0.039826
name: income_cat, dtype: float64
위와 유사한 코드로 테스트 셋의 소득 카테고리 비중을 측정할 수 있습니다. 아래 표에서 전체 데이터셋과 층화(stratified) 샘플링으로 생성된 테스트 셋, 순수 랜덤 샘플링으로 생성된 테스트 셋의 소득 카테고리 비중을 비교할 수 있습니다. 층화(stratified) 샘플링으로 생성된 테스트 셋의 비중이 전체 데이터셋의 비중과 거의 동일한 것을 알 수 있습니다.
이제 데이터를 원래 상태로 되돌리기 위해 income_cat 속성을 제거해야 합니다.
>>> for set in (strat_train_set, strat_test_set):
set.drop(["income_cat"], axis=1, inplace=True)
테스트 셋을 생성하는 것에 대해서 알아보았습니다. 이 부분은 머신러닝 프로젝트에서 흔히 간과되지만 중요한 부분입니다. 게다가 이들 많은 아이디어들은 앞으로 교차 검증을 논의할 때 유용할 것입니다.
참고) 'Hands-On Machine Learning with Scikit-Learn and TensorFlow, chapter 2'
주피터 노트북에서 볼 수 있는 전체 코드 얻기
