Изглежда невъзможно, но се случи: AI работи на компютър с Windows 98

Дори древен компютър с Pentium и Windows 98 може да изпълнява задачите на голям езиков модел (снимка: стоп кадър EXO Labs видео / X)

Ентусиасти успяха да пуснат един от популярните днес модели с изкуствен интелект на древен компютър с процесор Pentium II и операционна система Windows 98. Системата е способна да генерира текст с относително висока скорост.

Експертите от EXO Labs адаптираха мощния голям езиков модел (LLM) Llama, разработен от Meta, на 26-годишен компютър с операционна система Windows 98. Те показаха нагледно как стар компютър, оборудван с процесор Intel Pentium II с тактова честота 350 MHz и 128 MB RAM, може да стартира и взаимодейства с невронната мрежа.

За да пуснат LLM на древния PC, специалистите на EXO Labs са използвали собствен изходен интерфейс за алгоритъма Llama98.c, който е създаден въз основа на енджина Llama2.c, написан на езика за програмиране C от Андрей Карпати, бивш служител на OpenAI и Tesla, съобщи Tom’s Hardware.

След зареждане на алгоритъма, компютърът е помолен да създаде история за Сънливия Джо. Изненадващо, AI моделът е проработил на стария РС и е съчинил историята със сравнително добра скорост.

Мистериозната организация EXO Labs, създадена от изследователи и инженери от Оксфордския университет, се появи на сцената през септември тази година. Тя се застъпва за отвореността и достъпността на технологиите, базирани на изкуствен интелект.

Представители на организацията смятат, че напредналите AI технологии не трябва да бъдат в ръцете на шепа корпорации, както е сега. В бъдеще те се надяват да „изградят отворена инфраструктура за обучение на усъвършенствани AI модели, позволявайки на всеки да ги управлява навсякъде”.

Демонстрацията с LLM на древен компютър (видео в X), според изследователите, доказва, че алгоритмите за изкуствен интелект могат да работят на почти всяко устройство.

В своя блог ентусиастите разказват, че са закупили стар компютър с Windows 98 от eBay. След това го свързали към мрежата с помощта на Ethernet конектор и прехвърлили необходимите данни в паметта чрез FTP. Компилирането на кода за Windows 98 се оказва по-трудна задача, която е решена от Андрей Карпати и публикувана в GitHub.

В крайна сметка ентусиастите постигат скорост на генериране на текст от 35,9 токена в секунда, използвайки 260K LLM с архитектура Llama, което е доста добро постижение, предвид скромните изчислителни възможности на компютъра.