چرا هوش مصنوعی اینقدر تشنه قدرت است


چرا هوش مصنوعی اینقدر تشنه قدرت است

در این ماه ، گوگل پس از ابراز ناامیدی از شرکت برای مجبور کردن به بازنشستگی ، یک محقق برجسته اخلاق هوش مصنوعی را مجبور کرد. این سند خطرات پردازش زبان هوش مصنوعی ، نوع استفاده شده در جستجوی Google و سایر محصولات تجزیه و تحلیل متن را شناسایی می کند.

از جمله خطرات ایجاد شده ، ردپای بزرگ کربن در توسعه این نوع فناوری هوش مصنوعی است. طبق برخی تخمین ها ، آموزش مدل AI به اندازه لازم برای تولید و رانندگی پنج اتومبیل در طول زندگی خود ، تولید کربن می کند.

من محققی هستم که مدل های هوش مصنوعی را مطالعه و توسعه می دهم و کاملاً با افزایش سریع هزینه های انرژی و مالی تحقیقات هوش مصنوعی آشنایی دارم. چرا مدل های هوش مصنوعی اینقدر گرسنه شده اند و تفاوت آنها با محاسبات سنتی مرکز داده چیست؟

آموزش امروز بی نتیجه است

وظایف پردازش داده های سنتی که در مراکز داده انجام می شود شامل پخش ویدئو ، ایمیل و رسانه های اجتماعی است. هوش مصنوعی در محاسبات شدیدتر است زیرا تا زمانی که یادگیری درک آن را نداشته باشد ، باید داده های زیادی را بخواند – یعنی آموزش دیده است.

این آموزش در مقایسه با نحوه یادگیری افراد بسیار بی اثر است. هوش مصنوعی مدرن از شبکه های عصبی مصنوعی استفاده می کند ، که محاسباتی ریاضی است که از سلول های عصبی در مغز انسان تقلید می کند. قدرت اتصال هر نورون به همسایه پارامتر شبکه ای به نام وزن است. برای یادگیری نحوه درک زبان ، شبکه با وزنه های تصادفی شروع می شود و آنها را تنظیم می کند تا زمانی که خروجی با پاسخ صحیح موافق باشد.

یک روش معمول برای یادگیری شبکه زبان این است که آن را به بسیاری از متون در وب سایت ها مانند ویکی پدیا و خبرنامه ها با برخی از کلمات پوشانده ارسال کنید و از آنها بخواهید کلمات پوشیده را حدس بزنند. یک نمونه از این موارد “سگ من ناز است” ، با کلمه “ناز” پوشانده شده است. در ابتدا ، مدل آنها را از دست می دهد ، اما پس از بسیاری از تنظیمات معمول ، وزن اتصال شروع به تغییر می کند و در داده ها الگو می گیرد. در نهایت شبکه دقیق می شود.

یک مدل اخیر به نام نمایش کدگذاری دو طرفه توسط ترانسفورماتورها (BERT) از 3.3 میلیارد کلمه از کتابهای انگلیسی و مقالات ویکی پدیا استفاده می کند. علاوه بر این ، BERT در طول آموزش این مجموعه داده را نه یک بار بلکه 40 بار می خواند. برای مقایسه ، به طور متوسط ​​کودکی که یاد می گیرد صحبت کند می تواند تا پنج سالگی 45 میلیون کلمه بشنود ، 3000 برابر کمتر از BERT.

به دنبال ساختار مناسب باشید

آنچه ساخت مدل های زبان را گران می کند این است که این فرایند یادگیری بارها در طول توسعه اتفاق می افتد. این به این دلیل است که محققان می خواهند بهترین ساختار را برای شبکه پیدا کنند – چند نورون ، چند ارتباط بین نورون ها ، سرعت تغییر پارامترها در طول آموزش و غیره. هرچه ترکیبات بیشتری را امتحان کنند ، احتمال دستیابی به دقت بالا در شبکه بیشتر خواهد بود. در مقابل ، مغز انسان نیازی به یافتن ساختار بهینه ندارد – آنها با ساختاری از پیش ساخته شده اند که با تکامل کامل شده اند.

با رقابت شرکت ها و دانشمندان در فضای هوش مصنوعی ، فشار برای بهبود وضعیت هنر است. حتی دستیابی به پیشرفت 1٪ در دقت در کارهای دشوار مانند ترجمه ماشینی مهم تلقی می شود و منجر به تبلیغات خوب و محصولات بهتر می شود. اما برای دستیابی به این پیشرفت 1٪ ، یک محقق می تواند هزاران بار این مدل را آموزش دهد ، هر بار با ساختاری متفاوت ، تا زمانی که بهترین مدل پیدا شود.

محققان دانشگاه ماساچوست آمهرست با اندازه گیری میزان مصرف انرژی سخت افزار رایج مورد استفاده در طول آموزش ، هزینه های تولید مدل های زبان هوش مصنوعی را محاسبه می کنند. آنها دریافتند که آموزش BERT زمانی دارای اثر کربن مسافری بود که در هر دو جهت بین نیویورک و سانفرانسیسکو پرواز می کرد. با جستجو با کمک ساختارهای مختلف – یعنی. با آموزش مکرر الگوریتم بر روی داده ها با تعداد کمی متفاوت از سلول های عصبی ، اتصالات و سایر پارامترها – قیمت معادل 315 مسافر یا یک جت 747 معادل شد.

بزرگتر و گرمتر

مدل های هوش مصنوعی نیز بسیار بزرگتر از آنچه باید هستند هستند و هر ساله در حال رشد هستند. یک مدل زبان جدیدتر ، مشابه BERT ، به نام GPT-2 ، 1.5 میلیارد وزن در شبکه خود دارد. GPT-3 که به دلیل دقت بالا امسال سر و صدا ایجاد کرد ، 175 میلیارد وزن دارد.

محققان دریافته اند که داشتن شبکه های بزرگتر به دقت بهتر منجر می شود ، حتی اگر در نهایت بخش کوچکی از شبکه مفید باشد. اتفاق مشابهی در مغز کودکان رخ می دهد که ابتدا اتصالات عصبی اضافه شده و سپس کاهش می یابد ، اما انرژی مغز بیولوژیکی بسیار بیشتر از رایانه ها است.

مدل های هوش مصنوعی بر روی سخت افزارهای تخصصی مانند GPU ها آموزش می بینند که انرژی بیشتری نسبت به پردازنده های سنتی می گیرند. اگر صاحب یک لپ تاپ مخصوص بازی هستید ، احتمالاً یکی از این GPU ها را دارد که برای ایجاد گرافیک پیشرفته مثلاً برای پخش Minecraft RTX ، گرافیک پیشرفته ای ایجاد می کند. همچنین ممکن است متوجه شوید که آنها گرمای بسیار بیشتری نسبت به لپ تاپ های معمولی تولید می کنند.

همه اینها بدان معناست که توسعه مدل های پیشرفته هوش مصنوعی ردپای کربنی بزرگی را به وجود می آورد. تا زمانی که به سمت انرژی تجدیدپذیر 100 درصدی نرویم ، پیشرفت هوش مصنوعی ممکن است با اهداف کاهش انتشار گازهای گلخانه ای و کاهش سرعت تغییرات آب و هوا مغایرت داشته باشد. هزینه های مالی توسعه نیز به قدری زیاد می شود که فقط تعداد معدودی از آزمایشگاه ها توانایی انجام این کار را دارند و آنها تعیین کننده برنامه انواع مدل های هوش مصنوعی هستند.

کار بیشتر با کمتر

این برای آینده تحقیقات هوش مصنوعی به چه معناست؟ ممکن است اوضاع آنطور که به نظر می رسد تاریک نباشد. با تدوین روشهای موثرتر آموزش می توان هزینه آموزش را کاهش داد. به همین ترتیب ، در حالی که انفجار انرژی مرکز داده در سالهای اخیر پیش بینی شده بود ، این اتفاق به دلیل بهبود کارایی مرکز داده ، سخت افزار کارآمدتر و خنک سازی رخ نداد.

همچنین بین هزینه آموزش مدل ها و هزینه استفاده از آنها معامله وجود دارد ، بنابراین صرف انرژی بیشتر در حین آموزش برای ارائه مدل کوچکتر می تواند استفاده از آنها را ارزان تر کند. از آنجا که یک مدل در طول زندگی خود بارها مورد استفاده قرار خواهد گرفت ، این می تواند منجر به صرفه جویی در انرژی زیادی شود.

در تحقیقات آزمایشگاه من ، ما به دنبال روش هایی برای کوچک کردن مدل های هوش مصنوعی با تقسیم وزن یا استفاده از همان وزنه ها در چندین قسمت از شبکه هستیم. ما این شبکه ها را برای شکل های متحرک صدا می کنیم زیرا مجموعه کوچکی از وزنه ها را می توان در یک شبکه بزرگتر از هر شکل و ساختار پیکربندی کرد. محققان دیگر نشان داده اند که تقسیم وزن با همان زمان تمرین بهتر عمل می کند.

با نگاه به جلو ، جامعه هوش مصنوعی باید سرمایه گذاری بیشتری در توسعه طرح های آموزشی با مصرف انرژی بالا داشته باشد. در غیر این صورت ، این خطر وجود دارد که هوش مصنوعی توسط افراد معدودی که توانایی تعیین برنامه را دارند ، تحت سلطه قرار گیرد ، از جمله اینکه چه مدل هایی در حال توسعه هستند ، چه نوع داده هایی برای آموزش آنها استفاده می شود و مدل ها برای چه مواردی استفاده می شوند.

این داستان اولین بار در مکالمه ظاهر شد.


منبع: khabar-tak.ir

دیدگاهتان را بنویسید

Comment
Name*
Mail*
Website*