AMD обяви важен етап в обучението на големи AI модели с разработването на ZAYA1 от Zyphra – първия широкомащабен Mixture-of-Experts (MoE) базов модел, обучен с помощта на AMD графичен процесор и мрежова платформа.
Постижението е подробно описано в технически доклад на Zyphra, публикуван днес. Моделът е обучен с използване на графични ускорители AMD Instinct MI300X и оборудване AMD Pensando, както и благодарение на отворения софтуерен стек AMD ROCm.
Резултатите показват, че моделът осигурява конкурентна или по-добра производителност спрямо водещите отворени модели в бенчмаркове за заключения, математика и кодиране, демонстрирайки мащабируемостта и ефективността на графичните процесори AMD Instinct за продуктивни AI натоварвания.
„Този важен етап демонстрира мощността и гъвкавостта на графичните процесори AMD Instinct и мрежите Pensando за обучение на сложни, мащабни модели”, каза Емад Барсум, корпоративен вицепрезидент по изкуствен интелект и инженерство в подразделението за изкуствен интелект на AMD.
Впечатляващите 192 GB високоскоростна памет на графичния процесор AMD Instinct MI300X позволяват ефективно обучение в голям мащаб, избягвайки скъпоструващото експертно или тензорно разделяне, което намалява сложността и подобрява пропускателната способност в целия стек на моделите.
Zyphra също така отчита над 10 пъти по-кратко време за запазване на моделите, използвайки AMD оптимизирани I/O операции, което допълнително подобрява надеждността и ефективността на обучението.
Само с малка част от активните параметри, ZAYA1-Base (общо 8,3B, 760M активни) съответства или надвишава производителността на модели като Qwen3-4B (Alibaba), Gemma3-12B (Google), Llama-3-8B (Meta) и OLMoE.
Zyphra работи в тясно сътрудничество с AMD и IBM, за да проектира и внедри мащабен клъстер за обучение, базиран на графични процесори AMD Instinct с мрежова връзка AMD Pensando.
Съвместно разработената система на AMD и IBM, обявена по-рано това тримесечие, комбинира графичните процесори AMD Instinct MI300X с високопроизводителната свързваща архитектура и сторидж оборудване на IBM Cloud, осигурявайки основата за мащабното предварително обучение на ZAYA1.
