(снимка: AMD)
Големите езикови модели (LLM), използвани за обучение на генеративен изкуствен интелект, се нуждаят от огромна изчислителна мощ, за да “оживят” тези модели. В основата на някои от тях са технологии на AMD, които преодоляват липсата на езиково разнообразие, съобщиха от компанията.
Обикновено LLM – като версията, използвана за ChatGPT – са патентовани и базирани на английски. Те не се използват достатъчно, когато става въпрос за академични изследвания, поради липсата на езиково разнообразие. Това определено представлява бариера за достъп до тях.
Университетът в Турку, Финландия, пожела да промени това и сега си сътрудничи с 10 университетски изследователски лаборатории в цяла Европа, използвайки суперкомпютъра LUMI за изграждане на чисто нови големи езикови модели на различни европейски езици. В бъдеще учените се надяват да създадат основни модели поне за всички официални езици на ЕС, както и за няколко други, които да се използват за академични изследвания и обучение.
[related-posts]
Базиран на ускорители AMD Instinct GPU и процесори AMD EPYC, суперкомпютърът LUMI – наскоро класиран като най-бързият суперкомпютър в Европа, както и един от най-енергийно ефективните – позволява на TurkuNLP Group да създава нови модели в рамките на разумен период от време.
За сравнение, LUMI е с два порядъка по-голям от предишното поколение машини, налични във Финландия. Преди това на екипа отне половин година, за да обучи предварително езиков модел с 1 милиард параметъра на компютър, но сега само за две седмици LUMI успя да обработи около 40 милиарда токени, съставляващи знаци, срички или думи.
„Изчислителният капацитет и възможността за допълнително мащабиране с LUMI позволява на нашите клиенти да тласнат напред границите на машинното обучение и изкуствения интелект”, коментира приложението на AMD технологиите Вайно Хатанпаа, специалист по машинно обучение.
