Разработчици използват графичния процесор (GPU) на конзола за игри PlayStaion 5, за да изпълняват езиковите модели на изкуствения интелект локално, на самото устройство.
PS5LM Plus на разработчика abhi245y е приложение, което позволява изпълнението на големи езикови модели директно върху хакната конзола PlayStation 5, съобщи IT Home.
Проектът надгражда PS5LM (първоначално създаден от AI инженера Мерт Кобанов) и използва графичния процесор на конзолата за ускоряване на изчисленията.
Докато първоначалната версия разчиташе предимно на централния процесор (CPU) и можеше да обработва само много ограничен обем данни, новата реализация на приложението позволява генериране на пълноценни отговори.
За да повиши производителността, разработчикът е пренесъл (портнал) драйвера AMD RADV от проекта Mesa и е адаптирал ‘llama.cpp’ за работа чрез Vulkan. В резултат на това паметта, достъпна за моделите, се е увеличила от приблизително 6 GB на 11,4 GB.
При пропускателна способност на паметта от 448 GB/s, моделът Qwen3.8-27B постига скорост от 20,9 токена в секунда. По време на тестовете натоварването на графичния процесор достига 100%, докато централният процесор остава натоварен едва на 2%.
По-малките модели работят още по-бързо: Gemma 4 E4B генерира около 61 токена в секунда, а Llama 3.2 3B достига 124 токена в секунда. Така хакнатата PlayStation 5 се превръща в AI сървър: модел с 27 милиарда параметъра генерира 21 токена в секунда.
PS5LM Plus включва също уеб интерфейс за взаимодействие с изкуствения интелект и предоставя API през локална мрежа на порт 8081. Поддръжката на интерфейси, съвместими с OpenAI и Anthropic, позволява към конзолата да бъдат свързани инструменти като OpenCode, Codex и Claude Code.
Възможностите на системата обаче са ограничени от наличните 16 GB RAM, а стартирането на приложението изисква конзолата да бъде хакната – процес, който може да доведе до блокиране (ban) на устройството или на акаунта в PlayStation Network.
