Машинното самообучение – новата енергийна ламя

Когато се говори за машинно самообучение, малцина отварят дума за енергийното потребление
(снимка: CCO Public Domain)

С развитието на механизмите за машинно (само)обучение науката обещава все по-големи, сложни и отговорни задачи да могат да бъдат решавани от изкуствения разум. Никой обаче не отваря дума за това, че консумацията на енергия за захранването на тези алгоритми е огромна, нараства неудържимо и вече е на път да излезе извън контрол. Това поставя с пълна сериозност въпроса ще можем ли наистина да си позволим лукса на машинното самообучение?

Всички сме наясно, че безплатен обяд няма. Тази проста и очевидна истина неизменно бива забравяна винаги, когато ирационалното изобилие се обедини с дигитални технологии в най-новия зов „да променим света”.

Урокът от биткойн

Последните няколко години бяха показателни за това. Манията на криптовалутите обхвана мнозина. На пръв поглед ни се видя, че е просто – всеки може да стане безумно богат от „добива” на нематeриалните „монети”. Всичко, от което се нуждаеш, е компютър и хоп – пускаш го да „копае” ценната валута, от която една единица достигна смайващата стойност от над 19 хиляди долара.

„Копаенето” обаче е процес, който консумира много енергия. Според последните налични оценки, към края на 2018 година глобалната биткойн система консумира около 7,7 гигавата електроенергия. За една година това се равнява на около 64 тераватчаса (TWh), което е приблизително колкото консумацията на една държава като Австрия.

Сега, когато все по-ентусиазирано се говори за друга технологична тенденция – машинното самообучение, малцина отварят дума за нейното енергийно потребление. Но то също е голямо. Даже може би по-голямо.

Новите оценки предполагат, че въглеродният отпечатък от обучението на един „изкуствен разум” е 284 тона еквивалент на въглероден диоксид – а това е колкото емисиите от живота на пет автомобила за целия им жизнен цикъл, включително и производството им. Как учените са разбрали това?

Научните разчети

Ема Струбел от Университета на Масачузетс в Амхерст, САЩ и колегите й са оценили консумацията на енергия, необходима за обучение на четири големи невронни мрежи, използвани за езикова обработка. Това са алгоритми, каквито стоят в основата на Google Translate, както и на GPT-2 генератора на текстове на OpenAI, който може убедително да пише фалшиви новини. Тези AI системи се тренират чрез задълбочено машинно самообучение, което включва обработка на огромни количества данни. „За да научите нещо толкова сложно като езика, моделите трябва да са големи”, обяснява Струбел.

Общият подход предполага да се дадат на изкуствения интелект милиарди писмени статии, така че да се научи да разбира значението на думите и да разбере как са изградени изреченията.

За да измерят въздействието на този подход върху околната среда, изследователите са обучавали четири различни AI – Transformer, ELMo, BERT и GPT-2 – за по един ден всеки, след което са направили изчисление за консумацията на енергия през целия период. След това изчислили въглеродния отпечатък въз основа на средните въглеродни емисии, използвани при производството на енергия в САЩ.

Процесът, наречен търсене на невронна архитектура (NAS) – който включва автоматизиране на проектирането на невронна мрежа чрез проби и грешки – се оказал особено енергоемък и времеемък. Ако обучението Transformer без NAS отнема 84 часа, със NAS то коства повече от 270 000 часа. А това изисква 3000 пъти по-голямо количество енергия. Подобно обучение е разпределено на десетки чипове и отнема месеци работа.

AI изпреварва дори закона на Мур

OpenAI – една авторитетна изследователска лаборатория за изкуствен интелект – наскоро разкри, че се опитва да проследи количеството изчислителна мощност, необходима за машинното (само)обучение, общо взето откакто тази наука се проходила някъде там през 1959 г. Лабораторията е открила, че историята се разделя на две „епохи”.

От първите дни до 2012 г. количеството изчислителна мощност, изисквана от технологията, се удвоява на всеки две години – с други думи, следва закона на Мур за растежа на процесорната мощност. Но от 2012 г. нататък кривата на енергопотреблението „излита” нагоре: изчислителната мощност, необходима за най-често използваните системи за машинно обучение, се удвоява на всеки 3,4 месеца.

Ще стигнат ли ВЕИ ресурсите

Засега проблемът все още остава незабелязан, защото тези, които плащат сметките, най-често са огромни технологични компании с огромни ресурси. Някои от тях са се ориентирали към начини да осигуряват тази енергия по не-скандален начин. Google, Amazon, Facebook – всички те имат договори с местни ферми за соларна и вятърна енeргия, за да си гарантират, че колкото енергия консумират, толкова се произвежда от ВЕИ.

Но машинното самообучение тепърва ще се разгръща. Ще смогнем ли да изграждаме толкова ВЕИ, колкото са нужни, за да нахраним новата енергийна ламя?