Марк Зукърбърг предизвика Илон Мъск с по-голям AI клъстер за обучение на LLM
(снимка: Mark Zuckerberg / Facebook)
Американските ИТ гиганти се надпреварват кой ще изгради най-мощните клъстери за обучение на големите езикови модели (LLM), върху които стъпва изкуственият интелект (AI). Всеки от водещите играчи на пазара иска да демонстрира превъзходство в AI сферата.
Наскоро шефът Tesla и на още няколко иновативни компании Илон Мъск се похвали, че е завършил сглобяването на суперкомпютъра xAI Colossus със 100 хиляди ускорителя Nvidia H100 за обучение на AI. Повече от 100 хиляди от същите AI ускорители вече обучават и AI на Meta, съобщи главният изпълнителен директор на компанията Марк Зукърбърг.
Изградената от Meta система се използва за обучение на голям езиков модел от следващо поколение Llama 4. Този LLM се обучава „на клъстер с повече от 100 000 AI процесора H100 GPU и това е повече от всичко, което другите правят”, каза Зукърбърг.
Той не сподели подробности за това какво точно може да прави Llama 4. Но според публикация на Wired, която се позовава на изявление на Зукърбърг, AI моделът на Meta е придобил „нови модалности”, „става по-силен в разсъжденията” и „много по-бърз”.
С този коментар Зукърбърг явно искаше да предизвика Мъск, който преди това заяви, че неговият суперклъстер xAI Colossus използва 100 хиляди Nvidia H100 ускорителя, за да обучи модела Grok AI. По-късно Мъск каза, че броят на ускорителите в xAI Colossus ще бъде утроен в бъдеще.
Meta също обяви, че планира да внедри повече от половин милион AI ускорители H100 до края на тази година. Компанията на Зукърбърг вече разполага със значително като обем борудване за обучение на своите AI модели и ще продължи да го надгражда.
Meta използва уникален подход за разпространението на своите модели Llama – прави ги напълно безплатни, което позволява на други изследователи, компании и организации да създават нови продукти въз основа на тях. Това отличава Llama от GPT-4o на OpenAI и Gemini от Google, които са достъпни само чрез API.
Meta обаче налага някои ограничения върху лиценза на Llama, като например за търговска употреба. Освен това компанията не разкрива как точно се обучават нейните модели. Известно е, че моделите на Llama принципно са с отворен код.
Имайки предвид посочения брой ускорители, използвани за обучение на AI модели, възниква въпросът: колко електроенергия консумира всичко това? Един специализиран ускорител може да се нуждае от 3,7 MWh енергия годишно. Това означава, че 100 хиляди от тези ускорители ще консумират най-малко 370 GWh електроенергия – това е енергията за над 34 милиона средни американски домакинства.
Как компаниите получават цялата тази енергия? Според самия Зукърбърг, с течение на времето изкуственият интелект ще се сблъска с ограничения в наличния енергиен капацитет. Meta не разкрива как успява да захранва такъв гигантски изчислителен клъстер.
AI фирмата на Илон Мъск, например, използва няколко огромни мобилни генератора, за да захранва суперклъстер от 100 000 ускорителя, разположен в сграда от над 7 000 кв.м в Мемфис, Тенеси. Google може да не постигне целите си за въглеродни емисии, тъй като е увеличил емисиите на парникови газове от своите центрове за данни с 48% от 2019 г.
На този фон бившият главен изпълнителен директор на Google дори предложи САЩ да изоставят целите си за климата, позволявайки на компаниите за изкуствен интелект да работят с пълен капацитет и след това да използват разработените AI технологии за разрешаване на климатичната криза.
Необходимостта от все повече енергия за нуждите на AI принуди технологични гиганти като Amazon, Oracle, Microsoft и Google да се обърнат към ядрената енергия. Някои инвестират в разработванео на малки ядрени реактори, докато други са подписали договори за рестартиране на стари атомни електроцентрали, за да отговорят на нарастващите енергийни нужди.