Gradient Boosting XGBoost
📘 ভুল থেকে ধাপে ধাপে শেখা শক্তিশালী মডেল।
🌐 Trees that correct previous errors.
🎯
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
ভুল থেকে ধাপে ধাপে শেখা শক্তিশালী মডেল।
ভুল থেকে ধাপে ধাপে শেখা শক্তিশালী মডেল।
🌐 English:
Trees that correct previous errors.
Trees that correct previous errors.
🗂 কোথায় পড়ে
৩. মেশিন লার্নিং → সুপারভাইজড লার্নিং → Gradient Boosting XGBoost
🎯 এই শাখার লক্ষ্য
Train, compare and choose regression/classification models
🧰 টুলস
scikit-learn, XGBoost
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
Kaggle ও বাস্তব ট্যাবুলার সমস্যায় সবচেয়ে সফল অ্যালগরিদম পরিবার।
- ধাপ 1প্রথমে একটি সরল গাছ; তারপর প্রতিটি নতুন গাছ আগের ভুল (রেসিডুয়াল) শোধরায়
- ধাপ 2learning_rate ছোট (০.০৫) + বেশি গাছ = ভালো সাধারণীকরণ
- ধাপ 3max_depth ৩–৮, subsample, colsample দিয়ে নিয়ন্ত্রণ
- ধাপ 4early_stopping_rounds দিয়ে ভ্যালিডেশন লস বাড়লে থামুন
🧪 বাস্তব উদাহরণ
XGBClassifier(n_estimators=1000, learning_rate=0.05, early_stopping_rounds=50)।
⚠️ সাধারণ ভুল
learning_rate বড় ও গাছ অনেক—দ্রুত ওভারফিট।
🔑 মূল শব্দ (Key terms)
boostinggradient boostingXGBoostlearning rateearly stopping
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক10.1 বুস্টিং10.1.1 ধারাবাহিক দুর্বল মডেল
10.2 লার্নিং রেট ও n_estimators
10.3 XGBoost10.3.1 রেগুলারাইজড10.3.2 দ্রুত
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Supervised Learning)
এডিট করে Run চাপুন · Ctrl+Enterfrom sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X,y=load_breast_cancer(return_X_y=True); Xtr,Xte,ytr,yte=train_test_split(X,y,random_state=1)
for n,m in {"LogReg":make_pipeline(StandardScaler(),LogisticRegression(max_iter=500)),"KNN":make_pipeline(StandardScaler(),KNeighborsClassifier()),
"RandomForest":RandomForestClassifier(random_state=0),"GradBoost":GradientBoostingClassifier()}.items():
print(f"{n:13s} accuracy = {m.fit(Xtr,ytr).score(Xte,yte):.3f}")❓
সেল্ফ-চেক · Self check
1. “ধারাবাহিক দুর্বল মডেল” — এটি কোন সাব-টপিকের বর্ণনা?
2. “রেগুলারাইজড, দ্রুত” — এটি কোন সাব-টপিকের বর্ণনা?
🔗
সংযুক্ত কনসেপ্ট · Connected concepts
এই শাখার অন্যান্য অংশ
1. Linear Regression2. Polynomial Regression3. Ridge Lasso Regularization4. Logistic Regression5. KNN6. Naive Bayes7. Decision Tree8. Random Forest9. SVM10. Gradient Boosting XGBoost11. LightGBM CatBoost