ETL Pipelines
📘 ডেটা এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড।
🌐 Extract, transform, load.
🏗️
1
ধারণা · Concept
কী এবং কেন📘 বাংলা ব্যাখ্যা:
ডেটা এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড।
ডেটা এক্সট্র্যাক্ট, ট্রান্সফর্ম, লোড।
🌐 English:
Extract, transform, load.
Extract, transform, load.
🗂 কোথায় পড়ে
৬. ইঞ্জিনিয়ারিং ও ক্যারিয়ার → বিগ ডেটা ও ডেটা ইঞ্জিনিয়ারিং → ETL Pipelines
🎯 এই শাখার লক্ষ্য
Build ETL pipelines, use Spark and warehouses
🧰 টুলস
Spark, Airflow, BigQuery
🪜
ধাপে ধাপে শিখুন · Step-by-step
কেন শিখবেন → কীভাবে শিখবেন → উদাহরণ → সাধারণ ভুল💡 কেন গুরুত্বপূর্ণ?
বিভিন্ন উৎসের ডেটা নিয়মিত পরিষ্কার করে এক জায়গায় আনা—সব বিশ্লেষণের ভিত্তি।
- ধাপ 1Extract: ডাটাবেস, API, ফাইল, ওয়েব থেকে ডেটা আনা
- ধাপ 2Transform: পরিষ্কার, টাইপ ঠিক, একীভূত, সারাংশ
- ধাপ 3Load: ডেটা ওয়্যারহাউস বা ডাটাবেসে লেখা
- ধাপ 4ELT: আগে লোড, পরে ওয়্যারহাউসেই রূপান্তর (dbt); ইনক্রিমেন্টাল লোড ও লগিং
🧪 বাস্তব উদাহরণ
প্রতিদিন রাত ২টায় DGHS ড্যাশবোর্ড থেকে ডেঙ্গু সংখ্যা স্ক্র্যাপ → পরিষ্কার → MySQL।
⚠️ সাধারণ ভুল
প্রতিবার পুরো ডেটা আবার লোড—ইনক্রিমেন্টাল লোড দ্রুত।
🔑 মূল শব্দ (Key terms)
ETLELTpipelineincremental loaddbt
3
সাব-টপিক ও বিস্তারিত · Sub-topics
টপিক → সাব-টপিক → সাব-সাব টপিক1.1 Extract1.1.1 উৎস থেকে
1.2 Transform1.2.1 পরিষ্কার ও একীভূত
1.3 Load1.3.1 ওয়্যারহাউসে; ELT বিকল্প
🎬
ভিডিও · Videos (বাংলা ও English)
ক্লিক করলে সাইটের ভেতরেই ফ্লোটিং প্লেয়ারে চলবে · ভিডিও MySQL-এ সংরক্ষিত📺 আরও খুঁজুন
💻
হাতে-কলমে · Try it (Big Data & Data Engineering)
এডিট করে Run চাপুন · Ctrl+Enterimport pandas as pd, sqlite3, io
# Mini ETL: extract CSV -> transform -> load into a warehouse table
raw=io.StringIO("date,district,cases\n2026-01-01,Dhaka,12\n2026-01-01,Sylhet,x\n2026-01-02,Dhaka,15\n")
df=pd.read_csv(raw) # Extract
df["cases"]=pd.to_numeric(df.cases,errors="coerce").fillna(0).astype(int); df["date"]=pd.to_datetime(df.date) # Transform
con=sqlite3.connect(":memory:"); df.to_sql("fact_cases",con,index=False) # Load
print(pd.read_sql("SELECT district, SUM(cases) total FROM fact_cases GROUP BY district",con))❓
সেল্ফ-চেক · Self check
1. “উৎস থেকে” — এটি কোন সাব-টপিকের বর্ণনা?
2. “পরিষ্কার ও একীভূত” — এটি কোন সাব-টপিকের বর্ণনা?
3. “ওয়্যারহাউসে; ELT বিকল্প” — এটি কোন সাব-টপিকের বর্ণনা?
4. Airflow-এ ওয়ার্কফ্লোকে বলে?
5. OLAP কীসের জন্য?
🔗