প্রোগ্রামিং এর সমাপ্তি

 প্রোগ্রামিং এর সমাপ্তি

প্রোগ্রামিং অপ্রচলিত হবে

 

এই পোস্টের সমস্ত শিল্প DALL-E 2 দ্বারা তৈরি করা হয়েছে।

আমার বয়স 1980-এর দশকে, কমোডোর VIC-20 এবং Apple ][e-এর মতো ব্যক্তিগত কম্পিউটারগুলি বাড়িতে প্রোগ্রামিং করে৷ কলেজে কম্পিউটার সায়েন্স অধ্যয়ন করতে গিয়ে এবং শেষ পর্যন্ত বার্কলেতে পিএইচডি করার জন্য, আমার পেশাদার প্রশিক্ষণের সিংহভাগই ছিল যাকে আমি "ক্ল্যাসিকাল" CS বলব: প্রোগ্রামিং, অ্যালগরিদম, ডেটা স্ট্রাকচার, সিস্টেম, প্রোগ্রামিং ভাষা। ক্লাসিকাল কম্পিউটার সায়েন্সে, চূড়ান্ত লক্ষ্য হল জাভা বা C++ বা পাইথনের মতো একটি ভাষায় মানব - সোর্স কোড লিখিত একটি প্রোগ্রামে একটি ধারণা কমানো। ক্লাসিক্যাল CS-এর প্রতিটি ধারণা - যতই জটিল বা পরিশীলিত হোক না কেন - একটি ডাটাবেস যোগদানের অ্যালগরিদম থেকে শুরু করে মনের মতো অস্পষ্ট প্যাক্সোস কনসেনসাস প্রোটোকল পর্যন্ত - একটি মানব-পাঠযোগ্য, মানব-বোধগম্য প্রোগ্রাম হিসাবে প্রকাশ করা যেতে পারে।

আমি যখন 90 এর দশকের গোড়ার দিকে কলেজে ছিলাম, তখনও আমরা AI শীতের গভীরতায় ছিলাম, এবং ক্ষেত্র হিসাবে AI একইভাবে ক্লাসিক্যাল অ্যালগরিদম দ্বারা প্রভাবিত ছিল। কর্নেলে আমার প্রথম গবেষণার কাজ ছিল ড্যান হুটেনলোচারের সাথে কাজ করা , কম্পিউটার ভিশনের ক্ষেত্রে একজন নেতা (এবং এখন এমআইটি স্কুল অফ কম্পিউটিং এর ডিন)। ড্যানের পিএইচডি-স্তরের কম্পিউটার ভিশন কোর্সে 1995 বা তার পরে, আমরা একবারও গভীর শিক্ষা বা নিউরাল নেটওয়ার্কের মতো কিছু নিয়ে আলোচনা করিনি—এটি ছিল ক্যানি প্রান্ত সনাক্তকরণ, অপটিক্যাল ফ্লো এবং হাউসডর্ফ দূরত্বের মতো ক্লাসিক্যাল অ্যালগরিদম। গভীর শিক্ষা তার শৈশবকালে ছিল, এখনও মূলধারার এআই হিসাবে বিবেচিত হয়নি, মূলধারার সিএসকে ছেড়ে দিন। 

অবশ্যই, এটি 30 বছর আগে ছিল, এবং তারপর থেকে অনেক কিছু পরিবর্তিত হয়েছে, কিন্তু একটি জিনিস যা সত্যিই পরিবর্তিত হয়নি তা হল কম্পিউটার বিজ্ঞানকে এর মূল অংশে ডেটা স্ট্রাকচার, অ্যালগরিদম এবং প্রোগ্রামিং সহ একটি শৃঙ্খলা হিসাবে পড়ানো হয়। আমি বিস্মিত হতে যাচ্ছি যদি 30 বছর বা এমনকি 10 বছরে, আমরা এখনও এইভাবে সিএসের কাছে যাচ্ছি। প্রকৃতপক্ষে, আমি মনে করি একটি ক্ষেত্র হিসাবে CS একটি চমত্কার বড় বিপর্যয়ের জন্য রয়েছে যার জন্য আমাদের মধ্যে কয়েকজন সত্যিই প্রস্তুত। 

প্রোগ্রামিং অপ্রচলিত হবে

আমি বিশ্বাস করি যে "একটি প্রোগ্রাম লেখার" প্রচলিত ধারণাটি বিলুপ্তির দিকে যাচ্ছে, এবং প্রকৃতপক্ষে, খুব বিশেষায়িত অ্যাপ্লিকেশনের জন্য, বেশিরভাগ সফ্টওয়্যার, যেমনটি আমরা জানি, প্রোগ্রামের পরিবর্তে প্রশিক্ষিত AI সিস্টেম দ্বারা প্রতিস্থাপিত হবে । এমন পরিস্থিতিতে যেখানে একজনের একটি "সাধারণ" প্রোগ্রামের প্রয়োজন হয় (সর্বশেষে, সমস্ত কিছুর জন্য জিপিইউর ক্লাস্টারে চলমান কয়েক বিলিয়ন প্যারামিটারের মডেলের প্রয়োজন হয় না), সেই প্রোগ্রামগুলি হাতে কোড করার পরিবর্তে একটি AI দ্বারা তৈরি হবে। .  

আমি এই ধারণা পাগল মনে করি না. নিঃসন্দেহে কম্পিউটার সায়েন্সের প্রথম দিকের পথিকৃৎ, ইলেকট্রিক্যাল ইঞ্জিনিয়ারিংয়ের (আপেক্ষিকভাবে) আদিম গুহা থেকে উদ্ভূত, দৃঢ়ভাবে বিশ্বাস করেছিলেন যে সমস্ত ভবিষ্যতের কম্পিউটার বিজ্ঞানীদের সফ্টওয়্যার বোঝার জন্য সেমিকন্ডাক্টর, বাইনারি পাটিগণিত এবং মাইক্রোপ্রসেসর ডিজাইনের গভীর বোঝার নির্দেশ দিতে হবে। আজকে দ্রুত এগিয়ে, এবং আমি ভাল অর্থ বাজি রাখতে ইচ্ছুক যে 99% লোক যারা সফ্টওয়্যার লিখছেন তাদের প্রায় কোনও ধারণা নেই যে সিপিইউ আসলে কীভাবে কাজ করে, ট্রানজিস্টর ডিজাইনের অন্তর্নিহিত পদার্থবিজ্ঞানের কথাই ছেড়ে দিন। বর্ধিতকরণের মাধ্যমে, আমি বিশ্বাস করি ভবিষ্যতের কম্পিউটার বিজ্ঞানীরা "সফ্টওয়্যার" এর ক্লাসিক সংজ্ঞা থেকে এতদূর সরে যাবে যে তারা একটি লিঙ্কযুক্ত তালিকাকে উল্টাতে বা Quicksort বাস্তবায়নের জন্য কঠোরভাবে চাপ দেবে৷ (জাহান্নাম, আমি নিশ্চিত নই যে আমি কীভাবে নিজেকে কুইকসর্ট বাস্তবায়ন করব তা মনে আছে।)

CoPilot এর মত AI কোডিং সহকারীরা আমি যা বলছি তার উপরিভাগ স্ক্র্যাচ করছে। এটা আমার কাছে সম্পূর্ণরূপে সুস্পষ্ট বলে মনে হচ্ছে যে অবশ্যই ভবিষ্যতে সমস্ত প্রোগ্রাম শেষ পর্যন্ত AIs দ্বারা লিখিত হবে, যেখানে মানুষ সর্বোত্তমভাবে একটি তত্ত্বাবধায়ক ভূমিকায় নিযুক্ত হবে। যে কেউ এই ভবিষ্যদ্বাণীতে সন্দেহ পোষণ করেন তাদের শুধুমাত্র ছবি তৈরির মতো এআই কন্টেন্ট জেনারেশনের অন্যান্য দিকগুলিতে খুব দ্রুত অগ্রগতির দিকে নজর দেওয়া উচিত। DALL-E v1 এবং DALL-E v2-এর মধ্যে গুণমান এবং জটিলতার পার্থক্য — মাত্র 15 মাস পরে ঘোষণা করা হয়েছে — বিস্ময়কর৷ আমি যদি গত কয়েক বছরে AI-তে কাজ করে কিছু শিখে থাকি, তা হল ক্রমবর্ধমান বড় AI মডেলগুলির শক্তিকে অবমূল্যায়ন করা খুব সহজ। মাত্র কয়েক মাস আগে বিজ্ঞান কল্পকাহিনীর মতো মনে হওয়া জিনিসগুলি দ্রুত বাস্তবে পরিণত হচ্ছে।

তাই আমি শুধু CoPilot প্রোগ্রামার প্রতিস্থাপন সম্পর্কে কথা বলছি না । আমি প্রশিক্ষণ মডেলের সাথে প্রোগ্রাম লেখার সম্পূর্ণ ধারণা প্রতিস্থাপনের কথা বলছি । ভবিষ্যতে, CS ছাত্রদের এই ধরনের জাগতিক দক্ষতা শেখার প্রয়োজন হবে না যেমন কিভাবে একটি বাইনারি ট্রি বা C++ এ কোডে একটি নোড যোগ করতে হয়। এই ধরনের শিক্ষা পুরানো হবে, যেমন ইঞ্জিনিয়ারিং শিক্ষার্থীদের শেখানো কিভাবে একটি স্লাইড নিয়ম ব্যবহার করতে হয়।

ভবিষ্যতের প্রকৌশলীরা, কয়েকটি কীস্ট্রোকে, একটি চার-কুইন্টিলিয়ন-প্যারামিটার মডেলের একটি উদাহরণ তৈরি করবে যা ইতিমধ্যেই মানুষের জ্ঞানের সম্পূর্ণ পরিমাণ (এবং তাদের কিছু) এনকোড করে, মেশিনের প্রয়োজনীয় যে কোনও কাজ দেওয়ার জন্য প্রস্তুত। মেশিনকে যা চায় তা করার জন্য বুদ্ধিবৃত্তিক কাজের বেশিরভাগই সঠিক উদাহরণ, সঠিক প্রশিক্ষণের ডেটা এবং প্রশিক্ষণ প্রক্রিয়া মূল্যায়ন করার সঠিক উপায় নিয়ে আসা। অল্প-শট শেখার মাধ্যমে সাধারণীকরণ করতে সক্ষম উপযুক্ত শক্তিশালী মডেলগুলির জন্য কার্য সম্পাদনের জন্য শুধুমাত্র কয়েকটি ভাল উদাহরণের প্রয়োজন হবে। বৃহদায়তন, মানব-নিয়োজিত ডেটাসেটগুলি বেশিরভাগ ক্ষেত্রেই আর প্রয়োজন হবে না, এবং বেশিরভাগ লোকেরা একটি AI মডেলকে "প্রশিক্ষণ" দিচ্ছেন যা পাইটর্চে গ্রেডিয়েন্ট ডিসেন্ট লুপ বা এর মতো কিছু চালাবে না। তারা উদাহরণ দ্বারা শিক্ষা দেওয়া হবে, এবং মেশিন বাকি কাজ করবে.

এই নতুন কম্পিউটার বিজ্ঞানে - যদি আমরা এটিকে কম্পিউটার সায়েন্সও বলি - মেশিনগুলি এত শক্তিশালী হবে এবং ইতিমধ্যেই কীভাবে এতগুলি কাজ করতে হয় তা ক্ষেত্রটিকে ইঞ্জিনিয়ারিং প্রচেষ্টার কম এবং একটি শিক্ষামূলক প্রচেষ্টার মতো দেখাবে; অর্থাৎ, কিভাবে যন্ত্রটিকে সর্বোত্তম শিক্ষিত করা যায় , স্কুলে শিশুদের কীভাবে সেরা শিক্ষিত করা যায় তার বিজ্ঞানের বিপরীতে নয়। যদিও (মানুষ) বাচ্চাদের বিপরীতে, এই AI সিস্টেমগুলি আমাদের বিমান উড়বে, আমাদের পাওয়ার গ্রিড চালাবে এবং সম্ভবত সমগ্র দেশগুলিকে শাসন করবে। আমি যুক্তি দিব যে ক্লাসিক্যাল সিএসের বেশিরভাগ অংশই অপ্রাসঙ্গিক হয়ে ওঠে যখন আমাদের ফোকাস বুদ্ধিমান মেশিনগুলিকে সরাসরি প্রোগ্রামিং করার পরিবর্তে শেখানোর দিকে মনোনিবেশ করে। প্রোগ্রামিং, প্রচলিত অর্থে, আসলে মৃত হবে.

কম্পিউটার সায়েন্সের ক্ষেত্র সম্পর্কে আমরা কীভাবে চিন্তা করি তা কীভাবে এই সমস্ত পরিবর্তন করে?

কম্পিউটার সায়েন্সের ক্ষেত্র সম্পর্কে আমরা কীভাবে চিন্তা করি তা কীভাবে এই সমস্ত পরিবর্তন করে?

গণনার নতুন পারমাণবিক ইউনিট একটি প্রসেসর, মেমরি, এবং I/O সিস্টেমে পরিণত হয় না যা একটি ভন নিউম্যান মেশিন বাস্তবায়ন করে, বরং একটি বিশাল, প্রাক-প্রশিক্ষিত, অত্যন্ত অভিযোজিত AI মডেল।এটি একটি ভূমিকম্পের পরিবর্তন যা আমরা গণনা সম্পর্কে চিন্তা করি - একটি অনুমানযোগ্য, স্থির প্রক্রিয়া হিসাবে নয়, নির্দেশনা সেট, টাইপ সিস্টেম এবং সিদ্ধান্তযোগ্যতার ধারণা দ্বারা নিয়ন্ত্রিত। AI-ভিত্তিক গণনা অনেক আগেই স্ট্যাটিক বিশ্লেষণ এবং আনুষ্ঠানিক প্রমাণের জন্য উপযুক্ত হওয়ার রুবিকন অতিক্রম করেছে। আমরা দ্রুত এমন একটি বিশ্বের দিকে এগিয়ে যাচ্ছি যেখানে গণনার মৌলিক বিল্ডিং ব্লকগুলি মেজাজ, রহস্যময়, অভিযোজিত এজেন্ট।

এই পরিবর্তনটি এই সত্য দ্বারা আন্ডারস্কোর করা হয়েছে যে কেউ আসলে বুঝতে পারে না যে কত বড় AI মডেলগুলি কাজ করে। লোকেরা প্রকৃতপক্ষে বিদ্যমান বৃহৎ মডেলগুলির নতুন আচরণ আবিষ্কার করে গবেষণাপত্র প্রকাশ করছে , যদিও এই সিস্টেমগুলি মানুষের দ্বারা "ইঞ্জিনিয়ারড" হয়েছে। বড় AI মডেলগুলি এমন কিছু করতে সক্ষম যেগুলি করার জন্য তাদের স্পষ্টভাবে প্রশিক্ষিত করা হয়নি, যা নিক বোস্ট্রম এবং অন্য যে কেউ একজন সুপারিন্টেলিজেন্ট এআই চালানোর বিষয়ে চিন্তিত (যথাযথভাবে) তাদের ভয় দেখাতে পারে। বর্তমান এআই সিস্টেমের সীমা নির্ধারণ করার জন্য অভিজ্ঞতামূলক অধ্যয়ন ছাড়া আমাদের কাছে বর্তমানে কোনো উপায় নেই। ভবিষ্যত AI মডেলগুলির জন্য যেগুলি বড় এবং আরও জটিল আকারের অর্ডার - ভাল ফ্রিগিন' ভাগ্য!

যে কোনো আধুনিক মেশিন লার্নিং পেপার পড়েছেন তাদের কাছে প্রোগ্রাম থেকে মডেলে ফোকাস পরিবর্তনের বিষয়টি স্পষ্ট হওয়া উচিত। এই কাগজপত্র সবেমাত্র তাদের উদ্ভাবন অন্তর্নিহিত কোড বা সিস্টেম উল্লেখ; এআই সিস্টেমের বিল্ডিং ব্লকগুলি হল মনোযোগ স্তর, টোকেনাইজার এবং ডেটাসেটের মতো অনেক উচ্চ-স্তরের বিমূর্ততা। এমনকি 20 বছর আগে থেকে একজন টাইম ট্রাভেলারের (75-পৃষ্ঠা-দীর্ঘ!) GPT-3 কাগজের তিনটি বাক্য বোঝার জন্য কঠিন সময় হবে যা মডেলটির জন্য তৈরি করা আসল সফ্টওয়্যার বর্ণনা করে:

আমরা GPT-2 [RWC+19] এর মতো একই মডেল এবং আর্কিটেকচার ব্যবহার করি, এতে বর্ণিত সংশোধিত প্রারম্ভিকতা, প্রাক-স্বাভাবিককরণ এবং বিপরীতমুখী টোকেনাইজেশন সহ, আমরা স্তরগুলিতে বিকল্প ঘন এবং স্থানীয়ভাবে ব্যান্ডযুক্ত স্পার্স মনোযোগ নিদর্শন ব্যবহার করি। ট্রান্সফরমার, স্পার্স ট্রান্সফরমারের মতো [CGRS19]। মডেলের আকারের উপর ML কার্যক্ষমতার নির্ভরতা অধ্যয়ন করার জন্য, আমরা 125 মিলিয়ন প্যারামিটার থেকে 175 বিলিয়ন পরামিতি পর্যন্ত 8টি ভিন্ন মাপের মডেলকে প্রশিক্ষণ দিই, যার মধ্যে সর্বশেষ মডেলটিকে আমরা GPT-3 বলি। পূর্ববর্তী কাজ [KMH+20] পরামর্শ দেয় যে পর্যাপ্ত প্রশিক্ষণ ডেটা সহ, বৈধতা ক্ষতির স্কেলিং আকারের একটি ফাংশন হিসাবে প্রায় একটি মসৃণ শক্তি আইন হওয়া উচিত; বিভিন্ন আকারের প্রশিক্ষণ মডেলগুলি আমাদের এই অনুমানকে যাচাই করার অনুমতি দেয় এবং উভয় ক্ষেত্রেই বৈধতা হারানোর জন্য এবং নিম্নধারার ভাষার কাজগুলির জন্য। a

কম্পিউটিং এর অন্তর্নিহিত সংজ্ঞায় এই পরিবর্তন একটি বিশাল সুযোগ এবং প্রচুর ঝুঁকি উপস্থাপন করে। তবুও আমি মনে করি এটা মেনে নেওয়ার সময় এসেছে যে এটি একটি খুব সম্ভাব্য ভবিষ্যত, এবং উল্কা আঘাতের জন্য এখানে বসে অপেক্ষা না করে সেই অনুযায়ী আমাদের চিন্তাভাবনাকে বিকশিত করুন।

সাইডবার: আমি ইদানীং কি করছি?

আমার দীর্ঘ সময়ের পাঠকরা লক্ষ্য করবেন যে আমি ইদানীং খুব বেশি ব্লগিং করিনি। এর জন্যে দুঃখিত! আমি একটু ব্যস্ত ছিলাম। 

প্রায় তিন বছর আগে, আমি একটি স্টার্টআপের জন্য গুগল ছেড়েছিলাম যা অ্যাপল দ্বারা অধিগ্রহণ করা হয়েছিল। আমি পরবর্তীকালে কয়েক বছরের জন্য অন্য একটি স্টার্টআপে প্রকৌশলের নেতৃত্ব দেওয়ার জন্য অ্যাপল ছেড়েছি । সেই সময়ে আমি স্টার্টআপ লাইফ, এআই সিস্টেম তৈরি এবং দল গঠন সম্পর্কে অনেক কিছু শিখেছি। ইহা অনেক ভাল ছিল.

কয়েক মাস আগে আমি আমার নিজের কোম্পানি শুরু করার জন্য জাহাজে ঝাঁপ দিয়েছিলাম। আমি এখন Fixie.ai- এর সহ-প্রতিষ্ঠাতা এবং সিইও , AI স্পেসে একটি স্টিলথ স্টার্টআপ, এবং উপরের ব্লগ পোস্টটি এই নতুন উদ্যোগে যাওয়া কিছু চিন্তাভাবনার প্রতিনিধিত্ব করতে পারে বা নাও করতে পারে। আমাদের একটি চমত্কার প্রতিষ্ঠাতা দল আছে এবং আমরা যা করতে সক্ষম হব তা নিয়ে আমি সত্যিই উত্তেজিত। পরের কয়েক মাসে আমি আশা করি যে আমরা কী করছি সে সম্পর্কে আরও শেয়ার করব। ততক্ষণ পর্যন্ত, স্তব্ধ! more