এই সরঞ্জামটি অনুমান করে যে আপনার চ্যাটবট বার্তাগুলি কত বিদ্যুৎ ব্যবহার করে

[ad_1]

আপনি যখন প্রম্পট করেন, বা ধন্যবাদ, একটি এআই মডেল আপনি কতটা বিদ্যুৎ ব্যবহার করছেন তা কি কখনও ভাবেন? আলিঙ্গন ফেস ইঞ্জিনিয়ার জুলিয়েন দেলাভান্দে করেছিলেন, তাই তিনি তৈরি করেছিলেন একটি সরঞ্জাম উত্তরে পৌঁছাতে সহায়তা করতে।

এআই মডেলগুলি যখনই চালায় তখনই শক্তি গ্রহণ করে। এগুলি জিপিইউ এবং বিশেষায়িত চিপগুলিতে চালিত হয় যা স্কেলগুলিতে সম্পর্কিত কম্পিউটেশনাল ওয়ার্কলোডগুলি সম্পাদনের জন্য প্রচুর শক্তি প্রয়োজন। মডেল পাওয়ার সেবনকে পিন করা সহজ নয়, তবে এটি ব্যাপকভাবে প্রত্যাশিত এআই টেকনোলজিসের ক্রমবর্ধমান ব্যবহার পরবর্তী কয়েক বছরে বিদ্যুতের প্রয়োজনগুলিকে নতুন উচ্চতায় চালিত করবে।

এআই জ্বালানির জন্য আরও ক্ষমতার চাহিদা কিছু সংস্থাকে অনুসরণ করতে পরিচালিত করেছে পরিবেশগতভাবে বন্ধুত্বপূর্ণ কৌশল। ডেলাভান্দের লক্ষ্য এগুলির দিকে মনোযোগ আনার লক্ষ্য এবং সম্ভবত কিছু এআই ব্যবহারকারীদের বিরতি দেওয়ার মতো সরঞ্জামগুলি।

“এমনকি ছোট শক্তি সঞ্চয়ও কয়েক মিলিয়ন কোয়েরি জুড়ে স্কেল করতে পারে – মডেল পছন্দ বা আউটপুট দৈর্ঘ্য বড় পরিবেশগত প্রভাবের দিকে পরিচালিত করতে পারে,” ডেলাভান্দে এবং সরঞ্জামটির অন্যান্য নির্মাতারা একটি বিবৃতিতে লিখেছেন

ডেলাভান্দের সরঞ্জামটি মেটা লামা 3.3 70 বি এবং গুগলের জেমমা 3 এর মতো মডেলগুলির জন্য একটি ওপেন সোর্স ফ্রন্ট-এন্ড চ্যাট ইউআইয়ের সাথে কাজ করার জন্য ডিজাইন করা হয়েছে। সরঞ্জামটি রিয়েল টাইমে প্রেরিত বার্তাগুলির শক্তি খরচ এবং ওয়াট-ঘন্টা বা জোলগুলিতে ব্যবহারের প্রতিবেদন করার প্রতিবেদন করার অনুমান করে। এটি মাইক্রোওয়েভ এবং এলইডিগুলির মতো সাধারণ গৃহস্থালী সরঞ্জামগুলির সাথে মডেল শক্তি ব্যবহারের সাথে তুলনা করে।

সরঞ্জাম অনুসারে, লামাকে ৩.৩ 70 বি একটি সাধারণ ইমেল লিখতে অনুরোধ করে প্রায় 0.1841 ওয়াট-ঘন্টা ব্যবহার করে-0.12 সেকেন্ডের জন্য একটি মাইক্রোওয়েভ চালানোর সমতুল্য বা 0.02 সেকেন্ডের জন্য টোস্টার ব্যবহার করার সমতুল্য।

এটি মনে রাখা উচিত যে সরঞ্জামটির অনুমানগুলি কেবল এটিই – অনুমান। ডেলাভান্দে কোনও দাবি করেন না যে তারা অবিশ্বাস্যভাবে সুনির্দিষ্ট। তবুও, তারা একটি অনুস্মারক হিসাবে পরিবেশন করে যে সমস্ত কিছু – চ্যাটবট অন্তর্ভুক্ত – এর একটি ব্যয় রয়েছে।

“এআই এনার্জি স্কোর এবং এআই এর এনার্জি পদচিহ্ন সম্পর্কিত বিস্তৃত গবেষণার মতো প্রকল্পগুলির সাথে আমরা ওপেন সোর্স সম্প্রদায়ের স্বচ্ছতার জন্য চাপ দিচ্ছি। একদিন, জ্বালানি ব্যবহার খাদ্যে পুষ্টির লেবেলের মতো দৃশ্যমান হতে পারে!” ডেলাভান্দে এবং তাঁর সহ-স্রষ্টা লিখেছেন।



[ad_2]

Leave a Comment