Графичните процесори AMD Instinct MI300X разширяват възможностите на облачната инфраструктура на Oracle Cloud за работа с AI приложения (снимка: AMD)
Облачният доставчик Oracle Cloud Infrastructure (OCI) внедрява ускорители AMD Instinct MI300X с отворен софтуер ROCm, за да изгради най-новия си клъстер OCI Compute Supercluster, наречен BM.GPU.MI300X.8.
За AI модели, които могат да съдържат стотици милиарди параметри, OCI Supercluster с AMD MI300X поддържа до 16 384 графични процесора в един клъстер чрез същата ултра бърза мрежова технология, използвана от други ускорители в OCI.
Проектирани да изпълняват взискателни AI работни натоварвания, включително големи езикови модели (LLM) и обучение, което изисква висока пропускателна способност и огромен капацитет на паметта, тези „bare metal” инстанции на OCI вече са възприети от компании като Fireworks AI.
„AMD Instinct MI300X и отвореният софтуер ROCm продължават да набират скорост като надеждни решения за най-критичните AI работни натоварвания на OCI”, каза Андрю Дикман, корпоративен вицепрезидент и генерален мениджър на Data Center GPU Business в AMD.
По неговите думи, комбинацията ще бъде от полза за клиентите на OCI с висока производителност, ефективност и по-голяма гъвкавост на системния дизайн.
Ускорителите AMD Instinct MI300X добавят „bare metal” инстанции към OSI, за да премахнат излишните разходи за виртуализирани изчисления, които обикновено се използват за AI инфраструктура, посочи Доналд Лу, старши вицепрезидент по разработка на софтуер в Oracle Cloud Infrastructure.
AMD Instinct MI300X премина през обширни тестове, които бяха валидирани от OCI за AI задачи и обучение, обслужване на случаи с оптимално забавяне, дори при по-големи обеми на данните, и способност да се поберат най-големите LLM модели в един възел.
Fireworks AI – бърза платформа, предназначена за изграждане и внедряване на генеративни AI решения, с над 100 модела, помага на предприятията да изграждат и внедряват комбинирани AI системи в широк спектър от индустрии и случаи на употреба, а количеството памет, налично на AMD Instinct MI300X и отвореният софтуер ROCm ѝ позволяват да разширява услугите за клиентите.