import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')
#DataFrame 열 삭제
train = train.drop(['intensity'], axis =1)
def feature_change(train):
# type
train['type'] = train['type'].map({'white': 0, 'red' : 1})
#sweetness
train['sweetness'] = train['sweetness'].map({'dry': 0, 'off-dry' : 1, 'medium-sweet' : 2})
return train
train = feature_change(train)
train.info()
train.isnull().sum()
train = train.rename(columns={'volatile acidity':'VA'})
train = train.rename(columns={'fixed acidity':'FA'})
train = train.rename(columns={'free sulfur dioxide':'FSD'})
train = train.rename(columns={'total sulfur dioxide':'TSD'})
train = train.rename(columns={'citric acid':'CA'})
------------------------------
import os
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
train = pd.read_csv('train.csv')
#DataFrame 열 삭제
train = train.drop(['intensity'], axis =1)
def feature_change(train):
# type
train['type'] = train['type'].map({'white': 0, 'red' : 1})
#sweetness
train['sweetness'] = train['sweetness'].map({'dry': 0, 'off-dry' : 1, 'medium-sweet' : 2})
return train
# sweetness 가 꼭 필요한가?
# 와인 색도 꼭 필요함?
# intensity도 NaN이라 그냥 다 지웠는데...
# object는 다 없애버려도 그만아닐까
train = feature_change(train)
train.info()
train.isnull().sum()
#
# 의사결정나무로 1차제출
from sklearn import model_selection
from sklearn.tree import DecisionTreeClassifier
from sklearn import metrics
print(train.shape)
print(train.describe())
print(train.iloc[:,-1].value_counts())
x_data = train.iloc[:,:-1]
y_data = train.iloc[:,-1]
print(x_data.shape)
print(y_data.shape)
x_data = x_data.values
y_data = y_data.values
x_train, x_test, y_train, y_test = model_selection.train_test_split(x_data, y_data, test_size=0.32)
estimator = DecisionTreeClassifier(criterion='gini', max_depth=None, max_leaf_nodes=None, min_samples_split=2, min_samples_leaf=1, max_features=None)
estimator.fit(x_train, y_train)
y_predict = estimator.predict(x_train)
score = metrics.accuracy_score(y_train, y_predict)
print(score)
y_predict = estimator.predict(x_test)
score = metrics.accuracy_score(y_test, y_predict)
print(score)
---------------------------------------------------------------------------------
Q) 어떤 경우가 Data leakage에 해당되나요?
: Test 데이터셋은 기본적으로 '아예 볼 수 없다' 라는 가정 하에 진행해야 합니다.
- label encoding, one-hot encoding 시 test 데이터 셋 활용하여 encoder를 fit하는 경우
- data scaling 적용 시 test 데이터 셋 활용하여 scaler를 fit하는 경우
- pandas의 get_dummies() 함수를 test 데이터셋에 적용하는 경우
- test 데이터 셋의 결측치 처리 시 test 데이터 셋의 통계 값 활용
- test 데이터 셋을 EDA하여 얻은 인사이트를 통해 학습에 활용하는 경우
- test 데이터 셋을 학습 과정에 사용하는 모든 행위 (test 데이터셋은 추론에만 활용되어야 합니다)
- test 데이터 셋의 데이터 개수 정보를 활용하는 경우 (실제 test 데이터셋은 몇개가 입력으로 들어올 지 모르기 때문)
- 위 예시 외에도 test 데이터 셋이 모델 학습에 활용되는 경우에 Data leakage에 해당됨.
