Gradient Descent Optimizers
📘 SGD, Adam ইত্যাদি।
🌐 SGD, Adam and friends.
🧠
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
SGD, Adam ইত্যাদি।
SGD, Adam ইত্যাদি।
🌐 English:
SGD, Adam and friends.
SGD, Adam and friends.
🗂 কোথায় পড়ে
৪. ডিপ লার্নিং ও এআই → ডিপ লার্নিং → Gradient Descent Optimizers
🎯 এই শাখার লক্ষ্য
Build, train and regularise neural networks
🧰 টুলস
PyTorch, TensorFlow/Keras
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
কোন অপ্টিমাইজার ও লার্নিং রেট—প্রশিক্ষণের গতি ও সাফল্য নির্ধারণ করে।
- ধাপ 1Batch GD (পুরো ডেটা), SGD (একটি নমুনা), Mini-batch (৩২–২৫৬)—সাধারণ পছন্দ মিনি-ব্যাচ
- ধাপ 2Momentum: আগের দিক মনে রেখে দ্রুত ও মসৃণ
- ধাপ 3Adam: প্রতিটি প্যারামিটারের অভিযোজিত লার্নিং রেট—ডিফল্ট পছন্দ (lr=1e-3)
- ধাপ 4লার্নিং রেট শিডিউলার: ধীরে ধীরে কমানো (cosine, step)
🧪 বাস্তব উদাহরণ
optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=0.01)।
⚠️ সাধারণ ভুল
লস NaN হলে—লার্নিং রেট খুব বড়।
🔑 মূল শব্দ (Key terms)
SGDmini-batchmomentumAdamlearning rate schedule
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক4.1 SGD ও মিনি-ব্যাচ
4.2 Momentum
4.3 Adam4.3.1 অভিযোজিত লার্নিং রেট
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Deep Learning)
এডিট করে Run চাপুন · Ctrl+Enterimport numpy as np
# 2-layer neural net from scratch learning XOR
rng=np.random.default_rng(0); X=np.array([[0,0],[0,1],[1,0],[1,1]]); y=np.array([[0],[1],[1],[0]])
W1,b1=rng.normal(size=(2,8)),np.zeros(8); W2,b2=rng.normal(size=(8,1)),np.zeros(1); sig=lambda z:1/(1+np.exp(-z))
for ep in range(5000):
h=np.tanh(X@W1+b1); o=sig(h@W2+b2); d2=o-y; d1=(d2@W2.T)*(1-h**2)
W2-=0.1*h.T@d2; b2-=0.1*d2.sum(0); W1-=0.1*X.T@d1; b1-=0.1*d1.sum(0)
if ep%1000==0: print("epoch",ep,"loss",round(float(((o-y)**2).mean()),4))
print("XOR predictions:",o.round(2).ravel())❓
সেল্ফ-চেক · Self check
1. “অভিযোজিত লার্নিং রেট” — এটি কোন সাব-টপিকের বর্ণনা?
🔗
সংযুক্ত কনসেপ্ট · Connected concepts
এই শাখার অন্যান্য অংশ
1. Neural Network Basics2. Activation Functions3. Backpropagation4. Gradient Descent Optimizers5. TensorFlow Keras6. PyTorch7. Dropout Batch Normalization8. Transfer Learning