Outlier Detection
📘 IQR ও Z-score দিয়ে ব্যতিক্রম শনাক্ত।
🌐 Find anomalies with IQR and z-scores.
🧹
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
IQR ও Z-score দিয়ে ব্যতিক্রম শনাক্ত।
IQR ও Z-score দিয়ে ব্যতিক্রম শনাক্ত।
🌐 English:
Find anomalies with IQR and z-scores.
Find anomalies with IQR and z-scores.
🗂 কোথায় পড়ে
২. ডেটা বিশ্লেষণ → ডেটা ক্লিনিং ও EDA → Outlier Detection
🎯 এই শাখার লক্ষ্য
Detect outliers, fix missing values, profile data
🧰 টুলস
pandas, ydata-profiling
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
আউটলায়ার গড় ও মডেলকে বিকৃত করে—আবার কখনো সেটাই সবচেয়ে গুরুত্বপূর্ণ তথ্য।
- ধাপ 1দৃশ্যমান করুন: বক্সপ্লট ও হিস্টোগ্রাম
- ধাপ 2IQR নিয়ম: Q1 − 1.5×IQR এর নিচে বা Q3 + 1.5×IQR এর উপরে
- ধাপ 3Z-score: |z| > 3 (প্রায় নরমাল ডেটায়)
- ধাপ 4সিদ্ধান্ত: ডেটা-এন্ট্রি ভুল → ঠিক/বাদ; আসল চরম ঘটনা → রাখুন, অথবা ক্যাপ/লগ রূপান্তর
🧪 বাস্তব উদাহরণ
হাসপাতাল ভর্তির হঠাৎ বৃদ্ধি আউটলায়ার দেখালেও সেটি প্রাদুর্ভাবের সংকেত হতে পারে—বাদ দেবেন না।
⚠️ সাধারণ ভুল
যান্ত্রিকভাবে সব আউটলায়ার মুছে ফেলা।
🔑 মূল শব্দ (Key terms)
outlierIQRz-scorewinsorizingcapping
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক2.1 IQR পদ্ধতি2.1.1 Q1−1.5IQR2.1.2 Q3+1.5IQR
2.2 Z-score2.2.1 |z|>3
2.3 সিদ্ধান্ত2.3.1 বাদ2.3.2 ক্যাপ2.3.3 নাকি আসল ঘটনা
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Data Cleaning & EDA)
এডিট করে Run চাপুন · Ctrl+Enterimport pandas as pd, numpy as np
df=pd.DataFrame({"age":[25,27,np.nan,29,200,26,27],"city":["Dhaka","dhaka ","Sylhet","Sylhet","Dhaka",None,"dhaka "]})
df["city"]=df.city.str.strip().str.title()
q1,q3=df.age.quantile([.25,.75]); iqr=q3-q1
out=(df.age<q1-1.5*iqr)|(df.age>q3+1.5*iqr); print("Outliers:\n",df[out])
df.loc[out,"age"]=np.nan; df["age"]=df.age.fillna(df.age.median())
print(df.drop_duplicates()); print("Missing:\n",df.isna().sum())❓
সেল্ফ-চেক · Self check
1. “Q1−1.5IQR, Q3+1.5IQR” — এটি কোন সাব-টপিকের বর্ণনা?
2. “|z|>3” — এটি কোন সাব-টপিকের বর্ণনা?
3. “বাদ, ক্যাপ, নাকি আসল ঘটনা” — এটি কোন সাব-টপিকের বর্ণনা?
🔗
সংযুক্ত কনসেপ্ট · Connected concepts
এই শাখার অন্যান্য অংশ
1. Data Cleaning Process2. Outlier Detection3. Duplicate Handling4. Exploratory Data Analysis5. Univariate Bivariate Analysis6. Data Profiling