জেনারেটিভ এআই তালিকার তালিকা: 5000 মডেল, টুল, প্রযুক্তি, অ্যাপ্লিকেশন, এবং প্রম্পট
জেনারেটিভ AI-তে সম্পদের একটি কিউরেটেড তালিকা। 20 এপ্রিল, 2024 আপডেট করা হয়েছে — নতুন মডেল, নতুন সংস্থান
মডেলের জন্য একটি মৃদু ফিসফিস, মানবতার জন্য একটি উত্থিত জেগে ওঠার আহ্বান: 30 নভেম্বর, 2022-এ সদ্য প্রকাশিত ChatGPT-এর প্রথম প্রতিক্রিয়াটি সকলের কাছে স্পষ্ট করে দিয়েছে: জেনারেটিভ AI এখানে! এবং এটি সবকিছু পরিবর্তন করবে।
আসুন জেনে আসি বন্য জগতে। এই গল্পের প্রতিটি বিভাগে বিষয়ের আলোচনার সাথে সম্পদের একটি কিউরেটেড তালিকা রয়েছে, কখনও কখনও সংস্থানগুলির আরও তালিকা সহ সাইট রয়েছে:
20+: জেনারেটিভ এআই কি?
95x: জেনারেটিভ এআই ইতিহাস
600+: মূল প্রযুক্তিগত ধারণা
2,350+: মডেল এবং মাধ্যম — পাঠ্য, চিত্র, ভিডিও, শব্দ, কোড, ইত্যাদি।
350x: অ্যাপ্লিকেশন এলাকা, কোম্পানি, স্টার্টআপ
3,000+: প্রম্পট, প্রম্পট ইঞ্জিনিয়ারিং এবং প্রম্পট তালিকা
250+: হার্ডওয়্যার, ফ্রেমওয়ার্ক, অ্যাপ্রোচ, টুলস এবং ডেটা
300+: অর্জন, সমাজের উপর প্রভাব, এআই রেগুলেশন এবং আউটলুক
20+: জেনারেটিভ এআই কি?
আসুন তুলনা খেলা খেলি। যদি ক্লাসিক AI হয় জ্ঞানী পেঁচা, জেনারেটিভ AI হল পেন্টব্রাশ এবং লেখার দক্ষতা সহ বুদ্ধিমান পেঁচা। ঐতিহ্যগত AI চিনতে, শ্রেণীবদ্ধ করতে এবং ক্লাস্টার করতে পারে, কিন্তু যে ডেটাতে প্রশিক্ষিত হয় তা তৈরি করতে পারে না। এছাড়াও, ক্লাসিক এআই মডেলগুলি সাধারণত একটি একক কাজের উপর ফোকাস করা হয়। অন্যদিকে, তাদের জেনারেটিভ বোনরা বিস্তৃত ডোমেন থেকে বিপুল পরিমাণ ডেটার উপর প্রাক-প্রশিক্ষিত। তারা সাধারণ জ্ঞান তৈরি করতে পারে এবং তাদের নির্দিষ্ট মাধ্যমে (টেক্সট, ইমেজ, শব্দ বা অন্যান্য) প্রায় যেকোনো আউটপুট তৈরি করতে এটি ব্যবহার করতে পারে।
95x জেনারেটিভ এআই ইতিহাস
জেনারেটিভ AI এর একটি সুন্দর ইতিহাস রয়েছে, যেখানে লাইবনিজ, প্যাসকেল, ব্যাবেজ, লাভলেস থেকে প্রাথমিক তত্ত্বগুলি উদ্ভূত হয়েছিল। এটি এমনকি সমস্ত ধরণের তথাকথিত অটোমেটন (রোবট এবং গণনা যন্ত্র) এর বিকাশের পূর্বে ছিল (ইয়ান শি, টেসিবিয়াস, আলেকজান্দ্রিয়ার হেরন, বানু মুসা ভাই, ইসমাইল_আল-জাজারি)।
গাণিতিক ভিত্তি স্থাপন করা হয়েছিল 1940 এবং 1950 এর দশকে (শ্যানন, টুরিং, ভন নিউম্যান, উইনার)। আজকের জেনারেটিভ ল্যাঙ্গুয়েজ মডেলের ভিত্তিগুলি 1990-এর দশকে বিশদভাবে তৈরি করা হয়েছিল (LSTM, Hochreiter, Schmidhuber), এবং পুরো ক্ষেত্রটি 2018 সালের দিকে শুরু হয়েছিল (Radford, Devlin, et al.)। বিগত কয়েক বছরের প্রধান মাইলফলকগুলির মধ্যে রয়েছে BERT (Google, 2018), GPT-3 (OpenAI, 2020), Dall-E (OpenAI, 2021), Stable Diffusion (Stability AI, LMU Munich, 2022), ChatGPT (OpenAI, 2022) ), Mixtral (Mistral, 2023), বিশেষজ্ঞদের একটি মিশ্রণ এলএলএম।
1x: জেনারেটিভ এআই এর বিবর্তন
1x: জেনারেটিভ এআই এর টাইমলাইন
1x: উত্তেজনাপূর্ণ, আশ্চর্যজনক, এবং কখনও কখনও কিছুটা ভীতিকর: LLM-এর প্রাথমিক অগ্রদূত
2x: এআই টাইমলাইন, এবং কিছু আকর্ষণীয় ডেটা ভিজ্যুয়ালাইজেশন
90+: বর্তমান এবং অতীতের উল্লেখযোগ্য AI প্রকল্প
বড় ভাষার মডেলের বিবর্তনীয় বৃক্ষ: Word2Vec থেকে GPT-4 পর্যন্ত। চিত্র ক্রেডিট: ইয়াং, জিংফেং ইত্যাদি। আল
600+: জেনারেটিভ এআই-এর মূল প্রযুক্তি ধারণা
300+: গভীর শিক্ষা — যেকোনো জেনারেটিভ এআই মডেলের মূল:
গভীর শিক্ষা হল ঐতিহ্যবাহী এআই-এর একটি কেন্দ্রীয় ধারণা যা জেনারেটিভ এআই-তে গৃহীত এবং আরও উন্নত হয়েছে। জটিল এমএল সমস্যাগুলি শুধুমাত্র অনেক স্তর সহ নিউরাল নেটওয়ার্কগুলিতে সমাধান করা যেতে পারে। ঘটনাক্রমে, এটি জ্ঞানীয় প্রক্রিয়া এবং স্তন্যপায়ী প্রাণীদের মস্তিষ্কের ক্ষেত্রেও প্রযোজ্য (হ্যাঁ, এর অর্থ আমাদের)।
গভীর শিক্ষার নিউরাল নেটওয়ার্ক। ইমেজ ক্রেডিট (CC): BrunelloN
একটি কৃত্রিম নিউরাল নেটওয়ার্কে, একটি নোড একটি নিউরনের প্রতিনিধিত্ব করে এবং নোডগুলির মধ্যে একটি সংযোগ একটি সিন্যাপস, যা একমুখীভাবে তথ্য পরিবহন করে। জেনারেটিভ এআই মডেলগুলিতে সাধারণত লক্ষ লক্ষ নিউরন এবং কোটি কোটি সিন্যাপ্স থাকে (ওরফে "প্যারামিটার")। বর্তমান মডেলগুলি সিলিকন থেকে তৈরি নিউরন ব্যবহার করে না, তবে কম বা বেশি ঐতিহ্যবাহী হার্ডওয়্যার (কখনও কখনও সিপিইউ, সাধারণত জিপিইউ/টিপিইউ) সহ প্রচলিত কম্পিউটিং অ্যালগরিদমগুলির সাথে কাজ করে। কোডে, সম্পূর্ণ গভীর শিক্ষার নেটওয়ার্ককে ওজনের ম্যাট্রিক্স হিসাবে উপস্থাপন করা হয়। এবং — হ্যাঁ আমি অবশেষে জেনারেটিভ AI-কে রহস্যময় করার চেষ্টা করছি — ChatGPT-এর মতো সমস্ত ম্যাজিক মডেলে শেখা এবং উত্তর জেনারেশন উভয়ই শেষ পর্যন্ত ম্যাট্রিক্স গুণে ভেঙে যেতে পারে — ভাল পুরানো হাই স্কুল বীজগণিত। শুধু অনেক, এটা আরো অনেক, বিদ্যুৎ গতিতে মৃত্যুদন্ড কার্যকর করা.
ম্যাট্রিক্স গুণ
গভীর শিক্ষা এবং নিউরাল নেটওয়ার্ক প্রযুক্তি সম্পর্কে আরও:
7x: সেরা মেশিন লার্নিং কোর্স
300+: গভীর শিক্ষার সংস্থান: ক্রিস্টোস ক্রিস্টোফিডিসের বই, কোর্স, লেকচার, পেপার, ডেটাসেট, কনফারেন্স, ফ্রেমওয়ার্ক, টুলস
200+: ফাউন্ডেশন মডেল, প্রি-ট্রেনিং, ফাইন-টিউনিং এবং প্রম্পটিং
জেনারেটিভ এআই একটি ফাউন্ডেশন মডেলের উপর ভিত্তি করে। ফাউন্ডেশন মডেলগুলি হল বিশাল মডেল (বিলিয়ন প্যারামিটার), জায়ান্ট ডেটাসেটে প্রাক-প্রশিক্ষিত (জিবি বা টিবি ডেটা), এবং তাদের ডোমেনে অসীম সংখ্যক কাজ সম্পাদন করতে সক্ষম (পাঠ্য বা চিত্র তৈরি)। প্রাক-প্রশিক্ষণের জন্য ডেটাসেটগুলি সাধারণত ডোমেনের সমস্ত ধরণের ডেটা নিয়ে থাকে। পাঠ্যের জন্য: বৈজ্ঞানিক কাগজপত্র, হাইকুস, স্প্রেডশীট, বিশ্বকোষীয় বিষয়বস্তু, সংলাপ, আইন, ম্যানুয়াল, চালান, চিত্রনাট্য, পাঠ্যপুস্তক বা উপন্যাস। প্রাক-প্রশিক্ষিত মডেলটি একজন সুপার স্মার্ট এবং জ্ঞানসম্পন্ন উচ্চ বিদ্যালয়ের স্নাতকের সাথে তুলনীয় যার অনেক মৌলিক জ্ঞান এবং অনেক ভাষা বোঝার ক্ষমতা রয়েছে কিন্তু চাকরির জন্য কোন নির্দিষ্ট যোগ্যতা নেই। একটি নির্দিষ্ট কাজের জন্য একটি মডেল প্রস্তুত করতে, যেমন একটি নির্দিষ্ট পণ্যের জন্য একটি সমর্থন হটলাইনে প্রশ্নের উত্তর দেওয়া, আপনি ফাইন-টিউনিং ব্যবহার করতে পারেন: নির্দিষ্ট কাজের জন্য বিষয়বস্তুর একটি ছোট ডেটাসেট সহ একটি অতিরিক্ত প্রশিক্ষণ৷ প্রায়শই না, আপনি শুধু কাজ নির্দিষ্ট করতে, কাজের জন্য ডেটা প্রদান করতে এবং প্রতিক্রিয়া ফর্ম্যাট করতে প্রম্পট ব্যবহার করেন।
প্রি-ট্রেনিং, ফাইন-টিউনিং এবং বড় ভাষার মডেলের প্রম্পটিং। অনেক কাজের জন্য ফাইন-টিউনিং এড়িয়ে যেতে পারে; প্রাক-প্রশিক্ষণ এবং প্রম্পটিং একটি আবশ্যক। ইমেজ ক্রেডিট: ম্যাক্সিমিলিয়ান ভোগেল, ফ্রিপিকের ব্রেন আইকন
1x: ভাষা মডেলের ক্ষমতায়ন: প্রাক-প্রশিক্ষণ, ফাইন-টিউনিং এবং ইন-কনটেক্সট লার্নিং
1x: 3Blue1Brown1x-এর গ্রান্ট স্যান্ডারসন দ্বারা GPT (সাধারণ প্রাক-প্রশিক্ষিত-ট্রান্সফরমার) প্রযুক্তির দুর্দান্ত ভিডিও ভূমিকা: যশ ভাস্করের দ্বারা প্রি-ট্রেনিং এলএলএমগুলিতে গভীর ডুব
1x: টিউটোরিয়াল: কোড উদাহরণ সহ একটি বড় ভাষার মডেল ফাইন-টিউন
200+: ফাইন-টিউনিং সংস্থানগুলির উপর একটি কিউরেটেড তালিকা
(গল্পে পরে অনুরোধ করার সংস্থানগুলি দেখুন)
120+: টোকেন, এম্বেডিং এবং ভেক্টর
ChatGPT অক্ষর অন্ধ
ওহ, এটা ঠিক নয়; এটিতে স্পেস এবং বিরাম চিহ্ন সহ 89টি অক্ষর রয়েছে - 83টি নয়। কেন পৃথিবীর সবচেয়ে স্মার্ট বট এই সাধারণ গণনা কাজে ব্যর্থ হয়? সাত বছর বয়সী একজন ভালো করতে পারে!
ChatGPT, অন্যান্য ভাষার মডেলের মতো, ভাষা, পাঠ্য বা অক্ষর বোঝে না। ChatGPT মডেল এমনকি আমার প্রম্পট দেখতে পায় না:
প্রম্পটটি প্রথমে এই 19টি টোকেনে বিভক্ত ("টোকেনাইজড") হচ্ছে:
টোকেনাইজেশন: প্রতিটি রঙিন আয়তক্ষেত্র একটি টোকেন।
সাধারণ ইংরেজি শব্দ বিভক্ত নয়; তারা একক টোকেন। কম প্রচলিত শব্দ ("চা
Tags
Bangladesh 🇧🇩