予測因子が結果にどれくらい寄与するのか解析しよう

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt
# Googleドライブをマウント
# (すでにマウントされている場合は不要)
# from google.colab import drive
# drive.mount('/content/drive')
# CSVファイルのパスを指定
file_path = '/content/drive/My Drive/Pythonによるデータ分析入門/初級編/000_データの読み込みとグラフ化/diabetes.csv'
# CSVファイルを読み込む
df = pd.read_csv(file_path)
# 説明変数と目的変数を指定
X = df.drop('Outcome', axis=1)
y = df['Outcome']
# データを訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 決定木モデルを作成
model = DecisionTreeClassifier(max_depth=3, random_state=42) # max_depthは木の深さを制限
# モデルを訓練
model.fit(X_train, y_train)
# 決定木の可視化
plt.figure(figsize=(20, 10)) # 図のサイズを大きくする
plot_tree(model, feature_names=X.columns, class_names=['0', '1'], filled=True)
plt.show()
# 特徴量の重要度を表示
feature_importance = pd.DataFrame({'feature': X.columns, 'importance': model.feature_importances_})
print(feature_importance.sort_values('importance', ascending=False))

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score
# ランダムフォレストモデルを作成
model = RandomForestClassifier(n_estimators=100, random_state=42)
# モデルを訓練
model.fit(X_train, y_train)
# テストデータで予測
y_pred = model.predict(X_test)
# 正解率を計算
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")
# 特徴量の重要度を表示
feature_importance = pd.DataFrame({'feature': X.columns, 'importance': model.feature_importances_})
print(feature_importance.sort_values('importance', ascending=False))
# 可視化 (特徴量の重要度を棒グラフで表示)
plt.figure(figsize=(10, 6))
plt.barh(feature_importance['feature'], feature_importance['importance'])
plt.xlabel('Importance')
plt.ylabel('Feature')
plt.title('Feature Importance of Random Forest')
plt.show()

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score
# 説明変数と目的変数を指定
X = df.drop('Outcome', axis=1)
y = df['Outcome']
# データを訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 勾配ブースティングモデルを作成
model = GradientBoostingClassifier(n_estimators=100, random_state=42)
# モデルを訓練
model.fit(X_train, y_train)
# テストデータで予測
y_pred = model.predict(X_test)
# 正解率を計算
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")
# 特徴量の重要度を表示
feature_importance = pd.DataFrame({'feature': X.columns, 'importance': model.feature_importances_})
print(feature_importance.sort_values('importance', ascending=False))
# 可視化 (特徴量の重要度を棒グラフで表示)
plt.figure(figsize=(10, 6))
plt.barh(feature_importance['feature'], feature_importance['importance'])
plt.xlabel('Importance')
plt.ylabel('Feature')
plt.title('Feature Importance of Gradient Boosting')
plt.show()

# XGBoostのライブラリをインポート
from xgboost import XGBClassifier
# 説明変数と目的変数を指定
X = df.drop('Outcome', axis=1)
y = df['Outcome']
# データを訓練データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# XGBoostモデルを作成
model = XGBClassifier(random_state=42)
# モデルを訓練
model.fit(X_train, y_train)
# テストデータで予測
y_pred = model.predict(X_test)
# 正解率を計算
accuracy = accuracy_score(y_test, y_pred)
print(f"Accuracy: {accuracy}")
# 特徴量の重要度を表示
feature_importance = pd.DataFrame({'feature': X.columns, 'importance': model.feature_importances_})
print(feature_importance.sort_values('importance', ascending=False))
# 可視化 (特徴量の重要度を棒グラフで表示)
plt.figure(figsize=(10, 6))
plt.barh(feature_importance['feature'], feature_importance['importance'])
plt.xlabel('Importance')
plt.ylabel('Feature')
plt.title('Feature Importance of XGBoost')
plt.show()