একটি নতুন গবেষণা এমআইটি থেকে পরামর্শ দেয় সবচেয়ে বড় এবং সবচেয়ে গণনামূলকভাবে নিবিড় AI মডেলগুলি শীঘ্রই ছোট মডেলের তুলনায় কম রিটার্ন দিতে পারে। মডেল দক্ষতায় ক্রমাগত উন্নতির বিরুদ্ধে স্কেলিং আইন ম্যাপ করে, গবেষকরা দেখেছেন যে দৈত্যাকার মডেলগুলি থেকে পারফরম্যান্সে ঝাঁপিয়ে পড়া আরও কঠিন হয়ে উঠতে পারে যেখানে দক্ষতা অর্জন পরবর্তী দশকে আরও সাধারণ হার্ডওয়্যারে চলমান মডেলগুলিকে ক্রমবর্ধমানভাবে সক্ষম করে তুলতে পারে।
“আগামী পাঁচ থেকে 10 বছরের মধ্যে, জিনিসগুলি খুব সংকুচিত হতে শুরু করবে,” বলেছেন নিল থম্পসন, কম্পিউটার বিজ্ঞানী এবং গবেষণায় জড়িত এমআইটির অধ্যাপক।
জানুয়ারীতে ডিপসিকের উল্লেখযোগ্যভাবে স্বল্প-মূল্যের মডেলের সাথে দেখাগুলির মতো দক্ষতার লাফগুলি ইতিমধ্যেই এআই শিল্পের জন্য একটি বাস্তবতা পরীক্ষা হিসাবে কাজ করেছে, যা প্রচুর পরিমাণে গণনা পোড়াতে অভ্যস্ত।
পরিস্থিতি যেমন দাঁড়ায়, ওপেনএআই-এর মতো একটি কোম্পানির একটি ফ্রন্টিয়ার মডেল বর্তমানে একটি একাডেমিক ল্যাব থেকে কম্পিউটের একটি ভগ্নাংশের সাথে প্রশিক্ষিত মডেলের চেয়ে অনেক ভালো। যদিও এমআইটি টিমের ভবিষ্যদ্বাণী নাও থাকতে পারে যদি, উদাহরণস্বরূপ, নতুন প্রশিক্ষণ পদ্ধতি যেমন রিইনফোর্সমেন্ট লার্নিং আশ্চর্যজনক নতুন ফলাফল দেয়, তারা পরামর্শ দেয় যে বড় এআই ফার্মগুলি ভবিষ্যতে একটি প্রান্ত কম পাবে।
হান্স গুন্ডলাচ, এমআইটির একজন গবেষণা বিজ্ঞানী যিনি বিশ্লেষণের নেতৃত্ব দিয়েছিলেন, অত্যাধুনিক মডেলগুলি চালানোর অদম্য প্রকৃতির কারণে এই বিষয়ে আগ্রহী হয়ে ওঠেন। থম্পসন এবং জেসন লিঞ্চের সাথে, এমআইটির আরেক গবেষণা বিজ্ঞানী, তিনি ফ্রন্টিয়ার মডেলগুলির ভবিষ্যত কার্যকারিতাকে আরও বিনয়ী গণনামূলক উপায়ে নির্মিত মডেলগুলির তুলনায় ম্যাপ করেছেন। গুন্ডলাচ বলেছেন যে ভবিষ্যদ্বাণী করা প্রবণতাটি বিশেষত যুক্তিযুক্ত মডেলগুলির জন্য উচ্চারিত হয় যা এখন প্রচলিত, যা অনুমানের সময় অতিরিক্ত গণনার উপর বেশি নির্ভর করে।
থম্পসন বলেছেন যে ফলাফলগুলি একটি অ্যালগরিদমকে সম্মান করার পাশাপাশি গণনাকে স্কেল করার মূল্য দেখায়। “আপনি যদি এই মডেলগুলির প্রশিক্ষণের জন্য প্রচুর অর্থ ব্যয় করেন, তবে আপনার অবশ্যই এটির কিছুটা ব্যয় করা উচিত আরও দক্ষ অ্যালগরিদম বিকাশের চেষ্টা করার জন্য, কারণ এটি অত্যন্ত গুরুত্বপূর্ণ হতে পারে,” তিনি যোগ করেন।
আজকের AI পরিকাঠামোর বুম (বা আমাদের কি বলা উচিত “বুদবুদ”?)-এর পরিপ্রেক্ষিতে অধ্যয়নটি বিশেষভাবে আকর্ষণীয় – যা ধীর হওয়ার সামান্য লক্ষণ দেখায়।
OpenAI এবং অন্যান্য মার্কিন প্রযুক্তি সংস্থাগুলি মার্কিন যুক্তরাষ্ট্রে AI অবকাঠামো নির্মাণের জন্য শত বিলিয়ন ডলারের চুক্তি স্বাক্ষর করেছে। ওপেনএআই-এর প্রেসিডেন্ট গ্রেগ ব্রকম্যান, “বিশ্বের আরও অনেক বেশি গণনা করা দরকার,” এই সপ্তাহে ঘোষণা করা হয়েছে যেহেতু তিনি কাস্টম এআই চিপগুলির জন্য OpenAI এবং Broadcom এর মধ্যে একটি অংশীদারিত্ব ঘোষণা করেছেন৷
বিশেষজ্ঞদের একটি ক্রমবর্ধমান সংখ্যক এই চুক্তির সুষ্ঠুতা প্রশ্নবিদ্ধ করা হয়. মোটামুটি 60 শতাংশ একটি ডেটা সেন্টার নির্মাণের খরচ GPU-এর দিকে যায়, যা দ্রুত অবমূল্যায়ন করে। প্রধান খেলোয়াড়দের মধ্যে অংশীদারিত্বও দেখা যায় বৃত্তাকার এবং অস্বচ্ছ.
