Ускорителите AMD Instinct MI300X влизат в нови Microsoft Azure сървъри за работа с AI задачи (снимка: AMD)
Microsoft използва все повече AMD технологии в своите инструменти за AI-базирани инсталации в множество пазарни сегменти, стана ясно на скорошната конференция Build, където компанията демонстрира нови изчислителни и софтуерни решения за клиенти и разработчици.
Серията виртуални машини (VM) Azure ND MI300X вече са общодостъпни за клиенти с работни задачи, свързани с изкуствен интелект. Тези VM и софтуерът AMD ROCm, който ги захранва, също се използват за работни натоварвания на Azure AI Production, включително услугата Azure OpenAI, която дава достъп на клиентите до модели GPT-3.5 и GPT-4.
С ускорителите AMD Instinct MI300X и готовия ROCm пакет с отворен софтуер, Microsoft постига най-доброто съотношение цена/производителност при работни натоварвания с GPT, подчертаха от AMD, което бе изтъкнато и от самата Microsoft.
Освен производствените натоварвания на Azure с AI, един от първите клиенти, които използват тези виртуални машини, е Hugging Face. Тази компания портира своите модели на ND MI300X VM само за един месец, постигайки впечатляващи показатели цена/производителност. Клиентите на виртуалните машини ND MI300X VM могат да работят с модели на Hugging Face, за да създават и внедряват NLP приложения.
Разработчиците могат да използват софтуера AMD Ryzen AI за оптимизиране и инсталиране на AI системи на персонални компютри. Ryzen AI позволява на приложенията да работят на модула за невронна обработка (NPU), изграден върху AMD XDNA архитектура, която се явява първият специализиран хардуер за обработка на AI задачи на x86 процесор под Windows.
Докато работещите AI модели само на CPU или GPU могат бързо да изтощават батерията, с Ryzen AI лаптоп AI моделите работят на вградения NPU, освобождавайки ресурси на CPU и GPU за други изчислителни задачи. Това помага значително да се увеличи животът на батерията, а на работчиците да изпълняват LLM AI работни натоварвания и едновременни приложения локално на устройството.
В допълнение, Microsoft използва мултимедийния ускорител AMD Alveo MA35D за поддръжка на своите огромни по мащаб натоварвания с поточно видео на живо, включително Microsoft Teams и SharePoint видео. Създаден именно за интерактивни стрийминг услуги на живо, Alveo MA35D рационализира натоварванията за обработка на видео, включително видео транскодиране, декодиране, кодиране и стрийминг с адаптивен битрейт (ABR).
Мултимедийният ускорител AMD Alveo MA35D може да поддържа огромните по мащаб натоварвания с поточно видео на живо (снимка: AMD)
Използвайки ускорителя Alveo MA35D в сървъри с процесори AMD EPYC от 4-то поколение, Microsoft значително намалява броя на сървърите, необходими за поддържане на приложенията за голям обем интерактивен стрийминг на живо.
Освен това Alveo MA35D разполага с ASIC-базирани модули за видео обработка, поддържащи стандарта за компресия AV1 и AI-активирани оптимизации на качеството на видеото. Технологията AV1 е готова за бъдещето и може да се адаптира към променящите се изисквания за обработка на видео.