Големите езикови модели се нуждаят от много електричество, за да работят
(снимка: CC0 Public Domain)
Изследователи разработиха нов метод за намаляване на консумацията на енергия от базирани на изкуствен интелект приложения с цели 95%. Екипът на AI компанията BitEnergy AI публикува в arXiv документ, който описва иновативната технология.
AI приложенията вече са мейнстрийм, тяхното използване рязко нарасна, което доведе до значително увеличение на енергийните нужди и разходи. Големите езикови модели като ChatGPT изискват много изчислителна мощност, което от своя страна означава, че се нуждаят от много електричество, за да работят.
Например, ChatGPT сега изисква около 564 MWh дневно, което е достатъчно за захранване на 18 000 американски домове, отбелязва Techxplore. Тъй като подобни приложения стават все по-популярни, след няколко години консумацията на енергия от тях може да достигне около 100 TWh годишно, или колкото операциите за добив на биткойни.
Екипът на BitEnergy AI твърди, че с новата си разработка e намерил начин значително да намали обема на изчисленията, необходими за AI приложения, без да влошава производителността.
Новата технология е доста елегантна – вместо да разчита на сложно умножение с плаваща запетая (FPM), методът използва цели числа. Принципно, приложенията използват FPM за обработка на изключително големи или малки числа, което им позволява да извършват изчисления с голяма точност. Това е и най-енергоемката част в обработката на числата от AI.
Изследователите наричат новия си метод умножение с линейна сложност (Linear-Complexity Multiplication) – той работи чрез апроксимация на FPM с използване на целочислено допълнение. Досегашните тестове показват, че новият подход намалява консумацията на електроенергия с 95%.
Единственият недостатък на метода е, че изисква различен хардуер от този, който се използва в момента. Но изследователският екип твърди, че новият тип оборудване вече е проектирано, изградено и тествано.
Въпреки това, все още не е ясно как ще бъде лицензиран такъв хардуер. Пазарът на хардуер за изкуствен интелект в момента е доминиран от производителя на GPU Nvidia. Начинът, по който американският гигант ще реагира на тази нова технология, може да окаже значително влияние върху нейното възприемане от индустрията.