Изкуственият интелект става все по-мощен, но също така консумира колосални количества електроенергия. Сега учени предлагат аналогов метод за обучение на AI моделите, който може да реши този проблем.
Някои смятат, че една заявка в ChatGPT с максимална дължина може да използва около два пъти повече енергия, отколкото средностатистически американски дом за една минута. Ако умножим това броя на милиардите запитвания и броя на големите езикови модели – енергийното въздействие е потресаващо. Сега учени предлагат аналогов метод, който може да реши този проблем.
Докато изследователите се надпреварват да намерят по-екологични начини за захранване на AI, ново изследване предлага обещаващо решение: аналогови изчисления в паметта (AIMC), използващи аналогови чипове.
За разлика от традиционните архитектури, които постоянно преместват данни между паметта и процесорите, AIMC съхранява и обработва данни на едно място.
„AIMC използва физиката, за да извършва математическите изчисления мигновено, без да преместваме данните, потенциално намалявайки консумацията на енергия с 1000 пъти и правейки следващото поколение AI устойчиво“, казва ръководителят на проекта Тиани Чен – доцент по електротехника и компютърно инженерство в Cornell Tech.
Въпреки че аналоговите чипове могат да управляват AI модели с много по-малко енергия, обучението на моделите е основна пречка.
„Аналоговият хардуер се държи несъвършено“, обяснява Чен. „Електрическите импулси, които актуализират параметрите на модела, могат да бъдат неравномерни или изкривени от шум, което води до неточни градиенти и влошава обучението“.
Тогава? Екипът на Чен адресира това предизвикателство с разработката на аналогова версия на популярен алгоритъм за обучение на AI, известен като „обратно разпространение“. Изследователите наричат своята аналогова версия „Остатъчно обучение“, което систематично коригира несъвършенствата и гарантира, че обучението остава в правилната посока.
Вместо просто да поправя грешки, методът използва систематичен подход към особеностите на аналоговия хардуер. Остатъчното обучение въвежда допълнителен слой, който проследява тези несъвършенства и ги коригира в реално време, поддържайки процеса на обучение стабилен.
Резултатът: аналоговите чипове могат да обучават AI модели с точност, близка до цифровите системи, като същевременно консумират много по-малко енергия, проправяйки пътя за по-екологичен, мащабен изкуствен интелект.
„По същество ние динамично компенсираме естествените несъвършенства на хардуера, така че моделът може да бъде обучен с точност, сравнима с цифровия хардуер, но при доста по-малки разходи за енергия“, казва Чен.
Този пробив може да преобрази индустрията, като направи практично обучението и фината настройка на големите AI модели с много по-малко енергия и разходи, смятат изследователите. Това би позволило използването му в приложения, които в момента са недостъпни за енергоемки системи, от здравни устройства и носими технологии до индустриални сензори и автономни роботи.
Разработката може да роди изцяло нови архитектури на AI модели, проектирани специално за аналогов хардуер.
Следващите стъпки на екипа включват адаптиране на подхода към модели с отворен код на границата на технологиите и проучване на индустриални сътрудничества за мащабиране на технологията.
„Това проправя пътя към създаването на модели, които по своята същност са много по-енергийно ефективни от всичко, което имаме днес“, казва Чен. „Нашето изследване може да предизвика истинска промяна в начина, по който изграждаме и използваме изкуствен интелект“.
