গবেষণা থেকে পরিবর্তন: আপেক্ষিক উত্তর গুণমান (RAQ) এবং NVIDIA NIM
a
আপেক্ষিক উত্তর গুণমান (RAQ) এবং NVIDIA NIM সহ এলএলএম মূল্যায়ন এবং স্থাপনার একটি ধাপে ধাপে পদ্ধতি
a
ভূমিকা
2022 সালে ChatGPT-এর সফল প্রকাশ জনগণকে উপলব্ধি করেছে যে জেনারেটিভ AI শুধুমাত্র সেই ব্যক্তিদের জন্য নয় যারা নিজেরাই ম্যানুয়াল এবং সময়সাপেক্ষ কাজগুলিকে স্বয়ংক্রিয় করতে চায়, সেই সাথে গ্রাহকদের অভিজ্ঞতা বাড়াতে এবং ক্রিয়াকলাপগুলিকে অপ্টিমাইজ করতে চায় এমন কোম্পানিগুলির জন্যও অনেক সুবিধা থাকতে পারে।
a
জেনারেটিভ এআই সলিউশনের বর্ধিত চাহিদা বেশ কয়েকটি কোম্পানিকে ওপেন সোর্স সমাধানের গবেষণা ও উন্নয়নে বিনিয়োগ করতে পরিচালিত করেছে, যেমন মিস্ট্রাল এআই থেকে মিক্সট্রাল বা মেটা থেকে এলএলএএমএ 3। GenAI-তে ব্যাপক বিনিয়োগের ফলে এই মডেলগুলি জনসাধারণের কাছে ব্যাপকভাবে উপলব্ধ হয়েছে, যা বেশিরভাগ কোম্পানির ফোকাস ইন-হাউস লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs) বিকাশ থেকে এই ওপেন-সোর্স সংস্করণগুলি স্থাপনের দিকে সরিয়ে দিয়েছে।
a
এই মডেলগুলির উত্পাদন সম্পর্কে, দুটি প্রশ্ন মনে আসে: কোন মডেলটি ব্যবহার করা উচিত এবং কীভাবে এটি স্কেলে এবং নিরাপদে স্থাপন করা যেতে পারে? এই নিবন্ধটি এই প্রশ্নের উত্তর লক্ষ্য করে. আমরা RAQ (আপেক্ষিক উত্তর গুণমান) নামক একটি পদ্ধতির প্রস্তাব করি যা একটি স্বাধীন LLM ব্যবহার করে তাদের উত্তরগুলির তুলনা এবং র্যাঙ্কিং করে বিভিন্ন LLM-এর মূল্যায়ন করে। আমাদের পদ্ধতির মূল পার্থক্য হল যে এটি যেকোন ওয়ার্কফ্লোতে সহজেই একত্রিত হতে পারে এবং যেকোনো ডোমেন/বিষয়/ব্যবহারের ক্ষেত্রে যেকোনও সেট এলএলএম মূল্যায়ন করতে পারে। RAQ একটি নির্দিষ্ট বিষয়ে প্রশ্ন এবং সঠিক উত্তর সহ একটি ডেটাসেট সহ একটি সংস্থায় ব্যবহার করা যেতে পারে, তবে এটি প্রয়োগ করা যেতে পারে যখন এই জাতীয় কোনও ডেটাসেট বিদ্যমান নেই। আমাদের প্রস্তাবিত পদ্ধতির আরেকটি সুবিধা হল যে ডেটাসেটের আকার পরিমাপ করা যেতে পারে। র্যাঙ্কের পার্থক্যগুলি তাৎপর্যপূর্ণ কিনা তা নির্ধারণ করতে আমরা পরিসংখ্যানগত পরীক্ষা ব্যবহার করি, এমএল অনুশীলনকারীকে আত্মবিশ্বাসের সাথে নির্ধারণ করতে দেয় যে একটি এলএলএম অন্যটির চেয়ে ভাল কিনা। র্যাঙ্কটি মূলত গ্রাউন্ড ট্রুথ উত্তরের সাথে তাদের নৈকট্যের উপর ভিত্তি করে, ডেটা মূল্যায়ন করা ডোমেন/বিষয়/ব্যবহারের ক্ষেত্রে নির্বিশেষে।
a
দ্বিতীয় প্রশ্নের উত্তর দিতে, আমরা দেখাই যে NVIDIA-এর নতুন NIM মাইক্রোসার্ভিসেস ব্যবহার করে গবেষণা থেকে উৎপাদন-স্তরের সমাধানে রূপান্তর করা কতটা সহজ। NIM স্কেলে এলএলএম স্থাপনের অনুমতি দেয়, প্রথমে একটি NVIDIA হোস্ট করা পরিষেবা ব্যবহার করে দ্রুত প্রোটোটাইপিংয়ের মাধ্যমে এবং উৎপাদনের জন্য, যেকোনো ব্যক্তিগত ক্লাউড বা শারীরিক হার্ডওয়্যারে স্ব-হোস্টেড স্থাপনার মাধ্যমে। ত্বরিত হার্ডওয়্যার সেটআপ এবং অগ্রণী ওপেন মডেলগুলির সংমিশ্রণের জন্য অনুমান ইঞ্জিনগুলি ইতিমধ্যেই বাক্সের বাইরে অপ্টিমাইজ করা হয়েছে৷ এইভাবে, এটি আমাদেরকে ন্যূনতম প্রচেষ্টার সাথে পরিকাঠামো সেট আপ করতে সক্ষম করে। উপরন্তু, এটি LoRA এর সাথে মডেলগুলিকে সূক্ষ্ম-টিউন করার ক্ষেত্রে নমনীয়তা প্রদান করে।
Tags
Bangladesh 🇧🇩