Home › Roadmap › Supervised Learning › Part 3

Ridge Lasso Regularization

📘 ওভারফিটিং কমানোর কৌশল।

🌐 Penalties that reduce overfitting.

🎯 সুপারভাইজড লার্নিং🎚 Beginner📍 Part 3 / 11🧩 3 সাব-টপিক
🎯
1

ধারণা · Concept

কী এবং কেন
📘 বাংলা ব্যাখ্যা:
ওভারফিটিং কমানোর কৌশল।
🌐 English:
Penalties that reduce overfitting.

🗂 কোথায় পড়ে

৩. মেশিন লার্নিং → সুপারভাইজড লার্নিং → Ridge Lasso Regularization

🎯 এই শাখার লক্ষ্য

Train, compare and choose regression/classification models

🧰 টুলস

scikit-learn, XGBoost

🪜

ধাপে ধাপে শিখুন · Step-by-step

কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল
💡 কেন গুরুত্বপূর্ণ?

অনেক ফিচার বা কোরিলেটেড ফিচারে ওভারফিটিং ঠেকায় ও স্থিতিশীল সহগ দেয়।

  1. ধাপ 1
    লসের সাথে শাস্তি যোগ: Ridge = MSE + α·Σβ², Lasso = MSE + α·Σ|β|
  2. ধাপ 2
    Ridge সব সহগ ছোট করে; Lasso কিছু সহগ ঠিক শূন্য করে (ফিচার সিলেকশন)
  3. ধাপ 3
    ElasticNet দুটোর মিশ্রণ
  4. ধাপ 4
    α ক্রস-ভ্যালিডেশনে বাছুন (RidgeCV, LassoCV); আগে স্কেলিং বাধ্যতামূলক

🧪 বাস্তব উদাহরণ

২০০ জিন ফিচার, ১০০ রোগী—LassoCV ১৫টি গুরুত্বপূর্ণ জিন বেছে নেয়।

⚠️ সাধারণ ভুল

স্কেল না করে রেগুলারাইজেশন—বড় এককের ফিচার কম শাস্তি পায়।

🔑 মূল শব্দ (Key terms)

regularizationRidgeLassoElasticNetalphaL1L2

3

সাব-টপিক ও বিস্তারিত · Sub-topics

টপিক → সাব-টপিক → সাব-সাব টপিক
3.1 Ridge (L2)3.1.1 ওজন ছোট করে
3.2 Lasso (L1)3.2.1 কিছু ওজন শূন্য3.2.2 ফিচার সিলেকশন
3.3 ElasticNet3.3.1 দুটোর মিশ্রণ
🎬

ভিডিও · Videos (বাংলা ও English)

ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত

📺 আরও খুঁজুন

💻

হাতে-কলমে · Try it (Supervised Learning)

এডিট করে Run চাপুন · Ctrl+Enter
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
X,y=load_breast_cancer(return_X_y=True); Xtr,Xte,ytr,yte=train_test_split(X,y,random_state=1)
for n,m in {"LogReg":make_pipeline(StandardScaler(),LogisticRegression(max_iter=500)),"KNN":make_pipeline(StandardScaler(),KNeighborsClassifier()),
 "RandomForest":RandomForestClassifier(random_state=0),"GradBoost":GradientBoostingClassifier()}.items():
    print(f"{n:13s} accuracy = {m.fit(Xtr,ytr).score(Xte,yte):.3f}")
❓

সেল্ফ-চেক · Self check

1. “ওজন ছোট করে” — এটি কোন সাব-টপিকের বর্ণনা?

2. “কিছু ওজন শূন্য, ফিচার সিলেকশন” — এটি কোন সাব-টপিকের বর্ণনা?

3. “দুটোর মিশ্রণ” — এটি কোন সাব-টপিকের বর্ণনা?

🔗

সংযুক্ত কনসেপ্ট · Connected concepts

← আগের টপিকPolynomial Regressionপরের টপিক →Logistic Regression
🎬 Video