Attention & Transformers
📘 আধুনিক NLP-র ভিত্তি।
🌐 The foundation of modern NLP and LLMs.
💬
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
আধুনিক NLP-র ভিত্তি।
আধুনিক NLP-র ভিত্তি।
🌐 English:
The foundation of modern NLP and LLMs.
The foundation of modern NLP and LLMs.
🗂 কোথায় পড়ে
৪. ডিপ লার্নিং ও এআই → ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং → Attention & Transformers
🎯 এই শাখার লক্ষ্য
Preprocess text, embeddings, transformers
🧰 টুলস
NLTK, spaCy, Hugging Face
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
ChatGPT, Claude, BERT—আধুনিক সব ভাষা মডেলের আর্কিটেকচার।
- ধাপ 1প্রতিটি টোকেন থেকে Query, Key, Value ভেক্টর
- ধাপ 2attention = softmax(QKᵀ/√d)·V — প্রতিটি শব্দ অন্য সব শব্দের দিকে কতটা "তাকাবে"
- ধাপ 3Multi-head: একাধিক সম্পর্ক একসাথে; positional encoding দিয়ে শব্দক্রম
- ধাপ 4Encoder (BERT—বোঝা), Decoder (GPT—লেখা), Encoder-Decoder (T5—অনুবাদ)
🧪 বাস্তব উদাহরণ
"নদীর তীরে ব্যাংক" — attention "ব্যাংক"-কে "নদী"-র সাথে যুক্ত করে সঠিক অর্থ দেয়।
⚠️ সাধারণ ভুল
ধরে নেওয়া ট্রান্সফর্মার ক্রম নিজে বোঝে—positional encoding লাগে।
🔑 মূল শব্দ (Key terms)
self-attentionquerykeyvaluemulti-headencoderdecoder
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক6.1 Self-attention6.1.1 Query6.1.2 Key6.1.3 Value
6.2 Multi-head attention
6.3 Positional encoding ও Encoder-Decoder
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (NLP)
এডিট করে Run চাপুন · Ctrl+Enterfrom sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression texts=["খুব ভালো পণ্য","অসাধারণ সার্ভিস","একদম বাজে","খারাপ অভিজ্ঞতা","ভালো লেগেছে","বাজে সার্ভিস"]; y=[1,1,0,0,1,0] v=TfidfVectorizer(analyzer="char_wb",ngram_range=(2,4)); X=v.fit_transform(texts) m=LogisticRegression().fit(X,y) for s in ["সার্ভিস ভালো","বাজে পণ্য"]: print(s,"->","positive" if m.predict(v.transform([s]))[0] else "negative")
❓
সেল্ফ-চেক · Self check
1. “Query, Key, Value” — এটি কোন সাব-টপিকের বর্ণনা?
🔗