Настолната система Project Digits е в състояние да обработва AI модели с до 200 милиарда параметри (снимка: Nvidia)
Разработчикът на AI ускорители Nvidia обяви новия си продукт Project Digits, който представлява персонален суперкомпютър за работа с изкуствен интелект. Устройството се базира на новия чип GB10 Grace Blackwell Superchip, има достатъчно изчислителна мощност, за да изпълнява сложни AI модели, като същевременно е достатъчно компактно, за да се побере на бюрото, захранвано от обикновен електрически контакт.
Настолната система, която прилича на Mac Mini, е в състояние да обработва AI модели с до 200 милиарда параметри. Стартовата цена на устройството е $3000. Всяка система Project Digits се предлага със 128GB памет и до 4TB NVMe съхранение.
За по-взискателни задачи могат да се комбинират две системи Project Digits. Това ще позволи работа с модели, съдържащи до 405 милиарда параметри (за сравнение, най-добрият Meta модел, Llama 3.1, има 405 милиарда параметри).
Чипът GB10 осигурява AI производителност до 1 петафлопс (квадрилион изчисления в секунда) с точност FP4, която ускорява изчисленията чрез приближение. Системата е оборудвана с най-новите CUDA ядра и пето поколение Tensor ядра от Nvidia, свързани чрез NVLink-C2C към процесора Grace, съдържащ 20 енергийно ефективни ядра, базирани на архитектурата Arm.
MediaTek, известна със своите базирани на Arm чипове, е помогнала за проектирането на GB10, по-конкретно с оптимизирането на енергийната ефективност и производителността.
Потребителите ще имат достъп до софтуерната библиотека на Nvidia, включително инструменти за разработка, инструменти за оркестрация и предварително обучени модели чрез каталога Nvidia NGC. Системата работи с Linux-базирана Nvidia DGX OS и поддържа популярни рамки като PyTorch, Python и Jupyter Notebook.
Разработчиците могат да персонализират модели с помощта на рамката Nvidia NeMo и да ускорят работните потоци за научни данни с помощта на библиотеки Nvidia Rapids.
AI моделите, разработени и тествани локално на Project Digits, могат да бъдат внедрени в облачни услуги или инфраструктура на център за данни, използвайки същата архитектура Grace Blackwell и софтуерна платформа Nvidia AI Enterprise.
През декември Nvidia представи и по-достъпна версия на компютър за AI приложения – Jetson Orin Nano Super, струващ $249 и способен да работи с модели с до 8 милиарда параметри.