(снимка: CC0 Public Domain)
Стартиращата компания Anthropic, създадена от бивши служители на OpenAI, успя да разшири прозореца за контекстно въвеждане на своя чатбот Claude до 75 000 думи, което е голямо подобрение спрямо настоящите модели. Разработчикът твърди, че чатботът може да обработи цял роман за по-малко от минута.
Често пренебрегвано ограничение на чатботовете е паметта. Въпреки че езиковите модели на изкуствения интелект, залегнали в основата на тези системи, са обучени върху терабайти текст, количеството, което подобни системи могат да обработват по време на употреба, е доста ограничено. За ChatGPT това са около 3000 думи.
И макар че има начини за заобикаляне на ограниченията, това все още не е достатъчно. Сега обаче Anthropic значително разшири контекстния прозорец за своя чатбот Claude – до 75 000 думи. Както посочва компанията в своя блог, това е достатъчно, за да може чатботът да обработи „Великият Гетсби” наведнъж.
[related-posts]
Всъщност Anthropic тества системата, като редактира едно изречение в романа и поиска от AI да забележи промяната. Това се случи за 22 секунди, разказва за експеримента The Verge.
Езиковите модели на AI измерват информацията не чрез броя знаци или думи, а чрез токени – семантична единица, която не винаги корелира с броя на знаците. И тъй като думите могат да бъдат дълги или кратки, тяхната дължина не съответства непременно на броя на токените.
В това отношение контекстният прозорец на Claude превъзхожда модела на OpenAI, тъй като може да обработва 100 000 токена в сравнение с 9 000 преди, докато напълно функционалният модел GPT-4c може да обработва до 32 000 токена.
Понастоящем новите функции на Claude са достъпни само за бизнес партньори на Anthropic, които се свързват с чатбота чрез API на компанията. Цената също не е известна, но вероятно се е повишила значително, тъй като обработката на повече текст означава повече изчислителни разходи.
