Home › Lectures › Deep Learning & AI

✨ জেনারেটিভ এআই ও LLM · Generative AI & LLMs

বড় ভাষা মডেল দিয়ে নতুন অ্যাপ তৈরি।

Building new applications with large language models.

📅 ৪. ডিপ লার্নিং ও এআই⏳ ~4 সপ্তাহ📘 9 টপিক🧩 27 সাব-টপিক🎬 0 ভিডিও💻 রানযোগ্য কোড

🎯 যা শিখবেন / Outcomes

Prompting, APIs, RAG, fine-tuning

🧰 টুলস / Tools

OpenAI/Claude API, LangChain, Chroma

🏁 প্রজেক্ট / Capstone

RAG chatbot over your own PDFs

📌 পূর্বশর্ত / Prerequisites

💬 NLP

📅

সাপ্তাহিক পরিকল্পনা · Weekly plan

~২ ঘণ্টা/দিন ধরে

Week 1

How LLMs Work
Prompt Engineering
OpenAI Claude API

Week 2

Hugging Face
RAG Retrieval Augmented Generation
Vector Databases

Week 3

LangChain
Fine-tuning LLM LoRA
AI Agents

1

How LLMs Work

Next-token prediction at massive scale.
Beginner
📘 বাংলা: বড় ভাষা মডেলের কাজের ধারা।
🌐 English: Next-token prediction at massive scale.

💡 LLM কীভাবে কাজ করে জানলে তার সীমা (হ্যালুসিনেশন) ও শক্তি বোঝা যায়।

  1. 1
    টেক্সট → টোকেন (শব্দাংশ); মডেল পরের টোকেনের সম্ভাবনা অনুমান করে
  2. 2
    প্রি-ট্রেনিং: বিশাল টেক্সটে নেক্সট-টোকেন প্রেডিকশন
  3. 3
    ইনস্ট্রাকশন টিউনিং (SFT) ও RLHF: নির্দেশ মানা ও সহায়ক হওয়া শেখানো
  4. 4
    জেনারেশন: temperature (সৃজনশীলতা), top-p, context window (কত টোকেন মনে রাখে)
টোকেন ও নেক্সট-টোকেন প্রেডিকশন
প্রি-ট্রেনিং, SFT, RLHF
কনটেক্সট উইন্ডো ও temperature
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
2

Prompt Engineering

Write prompts that get good results.
Beginner
📘 বাংলা: ভালো ফলাফলের জন্য প্রম্পট লেখা।
🌐 English: Write prompts that get good results.

💡 একই মডেল থেকে অনেক ভালো ফল—স্পষ্ট নির্দেশনার দক্ষতা।

  1. 1
    ভূমিকা ও প্রসঙ্গ দিন: "তুমি একজন জনস্বাস্থ্য বিশ্লেষক..."
  2. 2
    কাজ স্পষ্ট করুন: কী, কার জন্য, কোন ফরম্যাটে, কত দৈর্ঘ্যে
  3. 3
    উদাহরণ দিন (few-shot); জটিল কাজে ধাপে ধাপে ভাবতে বলুন
  4. 4
    আউটপুট কাঠামো (JSON, টেবিল) নির্দিষ্ট করুন ও পুনরাবৃত্তি করে পরিমার্জন
স্পষ্ট নির্দেশনা ও ভূমিকা
Few-shot উদাহরণ
Chain-of-thought ও আউটপুট ফরম্যাট
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
3

OpenAI Claude API

Build AI apps via API.
Beginner
📘 বাংলা: API দিয়ে AI অ্যাপ তৈরি।
🌐 English: Build AI apps via API.

💡 নিজের অ্যাপ, ওয়েবসাইট ও স্বয়ংক্রিয় কাজে LLM যুক্ত করা।

  1. 1
    প্রোভাইডারের কনসোল থেকে API key নিন; env ভেরিয়েবলে রাখুন (কোডে নয়)
  2. 2
    SDK ইনস্টল (anthropic / openai) ও messages API: system + user বার্তা
  3. 3
    রেসপন্স পার্স; streaming দিয়ে লাইভ আউটপুট
  4. 4
    খরচ ও সীমা: টোকেন গণনা, max_tokens, রেট লিমিট, ক্যাশিং
API কী ও নিরাপত্তা
Messages APIsystem, user, assistant
স্ট্রিমিং ও খরচ নিয়ন্ত্রণ
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
4

Hugging Face

Hub of open-source models.
Intermediate
📘 বাংলা: ওপেন সোর্স মডেল হাব।
🌐 English: Hub of open-source models.

💡 হাজার হাজার ওপেন-সোর্স মডেল ও ডেটাসেট এক জায়গায়।

  1. 1
    huggingface.co-তে মডেল খুঁজুন (টাস্ক ও ভাষা ফিল্টার)
  2. 2
    pipeline("sentiment-analysis") — এক লাইনে ব্যবহার
  3. 3
    AutoTokenizer ও AutoModel দিয়ে বিস্তারিত নিয়ন্ত্রণ
  4. 4
    datasets লাইব্রেরি দিয়ে ডেটা; Spaces-এ Gradio ডেমো প্রকাশ
Model Hub
transformers pipeline
Datasets ও Spaces
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
5

RAG Retrieval Augmented Generation

Grounding LLM answers in your documents.
Intermediate
📘 বাংলা: নিজের ডেটা দিয়ে উত্তর।
🌐 English: Grounding LLM answers in your documents.

💡 LLM-কে আপনার নিজস্ব, সাম্প্রতিক ডেটা দিয়ে উত্তর দেওয়ানো—হ্যালুসিনেশন কমে।

  1. 1
    ডকুমেন্ট ভাগ (chunk, ৫০০–১০০০ টোকেন, কিছু overlap)
  2. 2
    প্রতিটি অংশের এমবেডিং তৈরি করে ভেক্টর ডাটাবেসে সংরক্ষণ
  3. 3
    প্রশ্নের এমবেডিং দিয়ে সবচেয়ে প্রাসঙ্গিক k অংশ খুঁজে বের করা
  4. 4
    সেই অংশগুলো প্রম্পটে দিয়ে উত্তর + উৎস উল্লেখ; মূল্যায়ন (retrieval ও answer quality)
ডকুমেন্ট চাঙ্কিং
এমবেডিং ও সিমিলারিটি সার্চ
প্রাসঙ্গিক অংশ প্রম্পটে যোগ করে উত্তর
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
6

Vector Databases

Store and search embeddings.
Intermediate
📘 বাংলা: এমবেডিং সংরক্ষণ ও খোঁজ।
🌐 English: Store and search embeddings.

💡 লক্ষ লক্ষ এমবেডিং থেকে মিলিসেকেন্ডে অনুরূপ খোঁজা।

  1. 1
    এমবেডিং = টেক্সট/ছবির অর্থ বহনকারী ভেক্টর
  2. 2
    মিল মাপ: cosine similarity, dot product
  3. 3
    ANN সূচক (HNSW, IVF) দিয়ে আনুমানিক দ্রুত খোঁজ
  4. 4
    টুল: Chroma, FAISS (লোকাল), pgvector (PostgreSQL), Pinecone/Qdrant; মেটাডেটা ফিল্টার
এমবেডিং সংরক্ষণ
ANN সার্চHNSW
টুলChroma, FAISS, pgvector
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
7

LangChain

Framework for LLM apps.
Advanced
📘 বাংলা: LLM অ্যাপ ফ্রেমওয়ার্ক।
🌐 English: Framework for LLM apps.

💡 LLM অ্যাপের সাধারণ অংশ (প্রম্পট, রিট্রিভার, মেমোরি, টুল) জোড়া লাগানোর ফ্রেমওয়ার্ক।

  1. 1
    PromptTemplate দিয়ে পুনঃব্যবহারযোগ্য প্রম্পট
  2. 2
    Model + OutputParser মিলিয়ে chain (LCEL: prompt | llm | parser)
  3. 3
    Document loader, text splitter, retriever দিয়ে RAG
  4. 4
    LangSmith দিয়ে ট্রেস ও ডিবাগ; সরল কাজে সরাসরি API-ই যথেষ্ট
Chains ও Prompt templates
Retrievers
LCEL দিয়ে কম্পোজিশন
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
8

Fine-tuning LLM LoRA

Adapt a model to your task.
Advanced
📘 বাংলা: মডেল নিজের কাজে মানিয়ে নেওয়া।
🌐 English: Adapt a model to your task.

💡 নির্দিষ্ট ধরন, ভাষা বা ডোমেইনে মডেলকে বিশেষজ্ঞ বানানো।

  1. 1
    আগে বিবেচনা: প্রম্পট বা RAG-এ সমাধান হয় কিনা
  2. 2
    ডেটাসেট: ইনপুট-আউটপুট জোড়া (শত থেকে হাজার), মানসম্মত ও বৈচিত্র্যময়
  3. 3
    LoRA/QLoRA: মূল ওজন ফ্রিজ রেখে ছোট অ্যাডাপ্টার শেখানো—একটি GPU-তেই সম্ভব (PEFT লাইব্রেরি)
  4. 4
    আলাদা টেস্ট সেটে মূল্যায়ন ও বেস মডেলের সাথে তুলনা
Full fine-tuning বনাম PEFT
LoRA/QLoRAকম মেমোরি
ডেটাসেট প্রস্তুতি ও মূল্যায়ন
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
9

AI Agents

Autonomous tool-using AI.
Advanced
📘 বাংলা: টুল ব্যবহারকারী স্বয়ংক্রিয় AI।
🌐 English: Autonomous tool-using AI.

💡 LLM শুধু উত্তর দেয় না, কাজও করে—পরবর্তী প্রজন্মের অ্যাপ্লিকেশন।

  1. 1
    লক্ষ্য গ্রহণ → পরিকল্পনা
  2. 2
    টুল নির্বাচন ও কল (সার্চ, কোড, ডাটাবেস)
  3. 3
    ফল পর্যবেক্ষণ করে পরের ধাপ ঠিক করা
  4. 4
    লক্ষ্য পূরণ হলে থামা ও রিপোর্ট—বিস্তারিত পরবর্তী "Agentic AI" শাখায়
লক্ষ্য → পরিকল্পনা → টুল → পর্যবেক্ষণ
উদাহরণকোডিং এজেন্ট
বিস্তারিত: Agentic AI শাখা
📖 বিস্তারিত নোট, ভিডিও ও কুইজ →
💻

হাতে-কলমে কোড · Hands-on code

Run চাপুন — পাইথন আপনার ব্রাউজারেই চলবে (Ctrl+Enter)
import numpy as np
# Mini RAG retrieval: bag-of-words embeddings + cosine similarity
docs=["Dengue spreads through Aedes mosquitoes","NDVI measures vegetation health","Transformers use self-attention"]
vocab=sorted({w.lower() for d in docs for w in d.split()})
emb=lambda s:np.array([s.lower().split().count(w) for w in vocab],float)
D=np.array([emb(d) for d in docs]); q=emb("what does NDVI measure")
sim=D@q/(np.linalg.norm(D,axis=1)*np.linalg.norm(q)+1e-9)
print("Retrieved context:",docs[sim.argmax()]); print("Prompt -> 'Answer using: "+docs[sim.argmax()]+"'")
📝

অনুশীলন · Practice tasks

  1. ৩ ধরনের প্রম্পট (zero/few-shot, CoT) তুলনা করুন
  2. নিজের PDF দিয়ে RAG চ্যাটবট তৈরি
  3. এমবেডিং দিয়ে সিমেন্টিক সার্চ
  4. ক্যাপস্টোন: RAG chatbot over your own PDFs
❓

কুইজ · Quick quiz

1. RAG-এর R মানে?

2. LoRA কী?

🎬

ভিডিও লাইব্রেরি · Videos

সাইটের ভেতরে ফ্লোটিং প্লেয়ারে চলবে
এই শাখার ভিডিও এখনো সংরক্ষিত হয়নি। যেকোনো টপিক পেজ খুললে ভিডিও স্বয়ংক্রিয়ভাবে খুঁজে MySQL-এ সংরক্ষিত হবে (API key থাকলে)।

📺 Reference channels

🇧🇩 Bangla ChatGPT API ↗
🌐 Andrej Karpathy ↗DeepLearningAI ↗
🔗

সংযুক্ত বিষয় · Connected

➡ 🦾 Agentic AI 🕸️ নেটওয়ার্কে দেখুন💻 ল্যাবে খুলুন
← আগের শাখা💬 NLPপরের শাখা →🦾 Agentic AI
🎬 Video