Home › Roadmap › Data Cleaning & EDA › Part 1

Data Cleaning Process

📘 অগোছালো ডেটা ব্যবহারযোগ্য করা।

🌐 Turn messy data into usable data.

🧹 ডেটা ক্লিনিং ও EDA🎚 Beginner📍 Part 1 / 6🧩 3 সাব-টপিক

🧹

ধারণা · Concept

কী এবং কেন

📘 বাংলা ব্যাখ্যা:
অগোছালো ডেটা ব্যবহারযোগ্য করা।

🌐 English:
Turn messy data into usable data.

🗂 কোথায় পড়ে

২. ডেটা বিশ্লেষণ → ডেটা ক্লিনিং ও EDA → Data Cleaning Process

🎯 এই শাখার লক্ষ্য

Detect outliers, fix missing values, profile data

🧰 টুলস

pandas, ydata-profiling

🪜

ধাপে ধাপে শিখুন · Step-by-step

কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল

💡 কেন গুরুত্বপূর্ণ?

ভুল ডেটায় সেরা মডেলও ভুল ফল দেয় (garbage in, garbage out)।

ধাপ 1
পরিদর্শন: shape, info, describe, value_counts, প্রতিটি কলামের অনন্য মান
ধাপ 2
সমস্যা তালিকা: ভুল টাইপ, বানান ভিন্নতা ("dhaka ", "Dhaka"), অসম্ভব মান (বয়স ২০০), ডুপ্লিকেট, মিসিং
ধাপ 3
পরিষ্কার: strip/title, to_numeric(errors="coerce"), নিয়মভিত্তিক সংশোধন
ধাপ 4
যাচাই ও ডকুমেন্টেশন: আগে-পরে সারি সংখ্যা ও প্রতিটি সিদ্ধান্ত লিখে রাখুন

🧪 বাস্তব উদাহরণ

df.district.str.strip().str.title().replace({"Chittagong":"Chattogram"}) — জেলার নাম মানসম্মত করা।

⚠️ সাধারণ ভুল

কাঁচা ডেটা ফাইল ওভাররাইট করা—সবসময় কপিতে কাজ করুন।

🔑 মূল শব্দ (Key terms)

data cleaningvalidationstandardizationdata quality

সাব-টপিক ও বিস্তারিত · Sub-topics

টপিক → সাব-টপিক → সাব-সাব টপিক

1.1 ধাপ1.1.1 পরিদর্শন1.1.2 পরিষ্কার1.1.3 যাচাই

1.2 সাধারণ সমস্যা1.2.1 ভুল টাইপ1.2.2 বানান ভিন্নতা1.2.3 ফাঁকা ঘর

1.3 ডকুমেন্টেশন1.3.1 প্রতিটি পরিবর্তন লিখে রাখা

🎬

ভিডিও · Videos (বাংলা ও English)

ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত

📺 আরও খুঁজুন

🇧🇩 Bangla EDA ↗
🌐 Ken Jee ↗Alex The Analyst ↗

💻

হাতে-কলমে · Try it (Data Cleaning & EDA)

এডিট করে Run চাপুন · Ctrl+Enter

import pandas as pd, numpy as np
df=pd.DataFrame({"age":[25,27,np.nan,29,200,26,27],"city":["Dhaka","dhaka ","Sylhet","Sylhet","Dhaka",None,"dhaka "]})
df["city"]=df.city.str.strip().str.title()
q1,q3=df.age.quantile([.25,.75]); iqr=q3-q1
out=(df.age<q1-1.5*iqr)|(df.age>q3+1.5*iqr); print("Outliers:\n",df[out])
df.loc[out,"age"]=np.nan; df["age"]=df.age.fillna(df.age.median())
print(df.drop_duplicates()); print("Missing:\n",df.isna().sum())

❓

সেল্ফ-চেক · Self check

1. “পরিদর্শন, পরিষ্কার, যাচাই” — এটি কোন সাব-টপিকের বর্ণনা?

2. “ভুল টাইপ, বানান ভিন্নতা, ফাঁকা ঘর” — এটি কোন সাব-টপিকের বর্ণনা?

3. “প্রতিটি পরিবর্তন লিখে রাখা” — এটি কোন সাব-টপিকের বর্ণনা?

4. IQR নিয়মে উপরের সীমা?

5. ডুপ্লিকেট সরাতে?

🔗

সংযুক্ত কনসেপ্ট · Connected concepts