Home › Roadmap › NLP › Part 1

Text Preprocessing

📘 টোকেনাইজেশন, স্টপওয়ার্ড, স্টেমিং।

🌐 Tokenise, remove stopwords, stem.

💬 ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং🎚 Beginner📍 Part 1 / 8🧩 3 সাব-টপিক

💬

ধারণা · Concept

কী এবং কেন

📘 বাংলা ব্যাখ্যা:
টোকেনাইজেশন, স্টপওয়ার্ড, স্টেমিং।

🌐 English:
Tokenise, remove stopwords, stem.

🗂 কোথায় পড়ে

৪. ডিপ লার্নিং ও এআই → ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং → Text Preprocessing

🎯 এই শাখার লক্ষ্য

Preprocess text, embeddings, transformers

🧰 টুলস

NLTK, spaCy, Hugging Face

🪜

ধাপে ধাপে শিখুন · Step-by-step

কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল

💡 কেন গুরুত্বপূর্ণ?

কাঁচা টেক্সটকে মডেলযোগ্য একক শব্দ/টোকেনে রূপান্তর।

ধাপ 1
পরিষ্কার: lowercase (ইংরেজিতে), URL/HTML/বিশেষ চিহ্ন বাদ
ধাপ 2
টোকেনাইজেশন: বাক্য → শব্দ বা সাবওয়ার্ড (BPE, WordPiece)
ধাপ 3
স্টপওয়ার্ড বাদ (প্রসঙ্গ অনুযায়ী; সেন্টিমেন্টে "না" রাখুন!)
ধাপ 4
স্টেমিং (কেটে মূল) বনাম লেমাটাইজেশন (অভিধান রূপ)

🧪 বাস্তব উদাহরণ

"খেলছিলাম", "খেলেছে" → মূল "খেল"—বাংলায় স্টেমার কম, BNLP টুল ব্যবহার করুন।

⚠️ সাধারণ ভুল

সেন্টিমেন্ট বিশ্লেষণে নেতিবাচক শব্দ ("না", "নয়") স্টপওয়ার্ড হিসেবে বাদ।

🔑 মূল শব্দ (Key terms)

tokenizationstopwordsstemminglemmatizationsubword

সাব-টপিক ও বিস্তারিত · Sub-topics

টপিক → সাব-টপিক → সাব-সাব টপিক

1.1 টোকেনাইজেশন1.1.1 শব্দ/সাবওয়ার্ড

1.2 স্টপওয়ার্ড ও বিরামচিহ্ন বাদ

1.3 স্টেমিং বনাম লেমাটাইজেশন

🎬

ভিডিও · Videos (বাংলা ও English)

ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত

📺 আরও খুঁজুন

🇧🇩 Bangla NLP ↗
🌐 Hugging Face ↗StatQuest ↗

💻

হাতে-কলমে · Try it (NLP)

এডিট করে Run চাপুন · Ctrl+Enter

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
texts=["খুব ভালো পণ্য","অসাধারণ সার্ভিস","একদম বাজে","খারাপ অভিজ্ঞতা","ভালো লেগেছে","বাজে সার্ভিস"]; y=[1,1,0,0,1,0]
v=TfidfVectorizer(analyzer="char_wb",ngram_range=(2,4)); X=v.fit_transform(texts)
m=LogisticRegression().fit(X,y)
for s in ["সার্ভিস ভালো","বাজে পণ্য"]: print(s,"->","positive" if m.predict(v.transform([s]))[0] else "negative")

❓

সেল্ফ-চেক · Self check

1. “শব্দ/সাবওয়ার্ড” — এটি কোন সাব-টপিকের বর্ণনা?

2. ট্রান্সফর্মারের মূল উপাদান?

3. TF-IDF-এ IDF কী কমায়?

🔗

সংযুক্ত কনসেপ্ট · Connected concepts