이전에 미술작품 분류하기 프로젝트에서 K-Fold 모듈을 사용해봐야겠다는 언급을 해놨었는데, 캐글에서 다른 사람이 해놓은 프로젝트들을 쭉 읽어보다가 StratifiedKFold가 있다는 것을 알게 되었다.

왜 불필요하게 fold 를 사용해 교차 검증을 하는 모듈을 2개나 만들어놨나 싶었더니

학습셋을 K번마다 K개의 셋으로 나눠서 train 및 validation과정을 거치는 것을 KFold 교차검증이라고 한다.

하지만, 이 경우에는 train, validation 셋을 나누는 과정이 랜덤하게 나눠지므로

데이터가 imbalance한 경우에는 train, validation셋의 label의 비율이 어긋나게된다.

극단적으로 training set이 참인 label이 1000개 거짓인 label이 10개있다고 치자.

그럼 확률적으로 나누는 KFold를 사용한다면, K등분했을때 거짓인 label이 validation 셋에 1개도 없을 수 있다.

그러면 당연히 제대로된 검증이 되지 않으므로

Stratified Kfold를 사용한다.

번역하면 계층화된 KFold라는 뜻이다.

Straitified KFold를 사용하면 imbalance한 training set에서 비율에 맞게 train, validation 셋을 나눌수 있다.

출처 : https://zereight.tistory.com/252

라고 설명이 되어 있다. 즉 데이터의 비대칭성을 고려해 데이터를 나눠주는 것을 StratifiedKFold 모듈이 해주는 것이다.

대략 코드를 Pandas Dataframe에 적용해본다면, 아래와 같을 것이다.

from sklearn.model_selection import StratifiedKFold

x = train[["userID","jobID"]]
y = train[["applied"]]

stratifiedkfold = StratifiedKFold(n_splits=5,random_state= 42, shuffle=True)
print(x.shape, y.shape)

print("**************StratifiedKFold**************")
for train_index, validate_index in stratifiedkfold.split(x,y):
    print("train index:", train_index, "validate index:", validate_index)
    X_train, X_validate = x.iloc[train_index], x.iloc[validate_index]
    y_train, y_validate = y.iloc[train_index], y.iloc[validate_index]
    print("train data")
    print(X_train, y_train)
    print("validate data")
    print(X_validate, y_validate)

머신러닝 추천 공고 시스템 과제를 수행하고, 90점 이상 받아보자.

추천 시스템 관련 내용 탐색이 충분히 필요하기 때문에 한 번 도전해서, 성과를 만들어보자.

XGBoost은 hyper parameter가 너무 많다.

그래서 hyper parameter 튜닝이 너무 어려울텐데, 다행이도 뛰어난 알고리즘일 수록 파라미터를 튜닝할 필요가 적고, 파라미터 튜닝에 들이는 수고 대비 성능 향상 효과가 높지 않다.

그래서, <파이썬 머신러닝 완벽 가이드>에서는 overfitting 문제가 너무 심할 때 다음 5가지만 적용해보기를 추천하고 있다.

• eta(learning_rate) 값을 낮춘다. (0.01~0.1) 그리고 eta(learning_rate)값을 낮추는 경우 num_boost_rounds(n_estimators) 는 반대로 높여준다.

• max_depth 값을 낮춘다.

• min_child_weight 값을 높인다.

• gamma 값을 높인다.

• sub_sample(subsample), colsample_bytree 를 조정해서 트리가 복잡해지는 것을 막는다.

퍼온 글 링크