Британското правителство проведе тримесечен тест на асистента с изкуствен интелект Microsoft M365 Copilot и не разкри забележимо увеличение на производителността на служителите.
Въпреки че някои задачи са изпълнени по-бързо, други само стават по-трудни поради ниското качество на материалите, предоставени от изкуствения интелект, съобщи The Register. Тестването обаче е проведено преди почти година, като през това време асистентът с изкуствен интелект е трябвало да стане „по-умен”.
Министерството на бизнеса и търговията на Обединеното кралство е получило 1000 лиценза за използване на Copilot от октомври до декември 2024 г. Повечето от лицензите са взети от доброволци, като 30% от участниците са избрани на случаен принцип. Около 300 участници са се съгласили данните им да бъдат анализирани.
Оказва се, че 72% от потребителите са „доволни” или „много доволни” от асистента с изкуствен интелект и не са особено доволни, когато тестът приключил. Реалното увеличение на производителността обаче е смесено.
Около две трети от участниците са използвали Microsoft 365 Copilot поне веднъж седмично, а 30% са го използвали поне веднъж дневно. В Обединеното кралство месечният абонамент струва между £4,90 и £18,10 на потребител, така че разходите могат да бъдат значителни за една правителствена организация.
Средно обаче е имало само 72 взаимодействия с Copilot на потребител за 63 работни дни, или около 1,14 на ден. Copilot е използван най-често в Word, Teams и Outlook, като PowerPoint и Excel са значително по-рядко срещани, а Loop и OneNote са най-рядко срещани.
Трите най-често срещани задачи са били транскрибиране или обобщаване на среща, писане на имейли и създаване на обобщение на бележки. Това са задачите, които са били „удовлетворени”. Най-малко вероятно е Copilot да бъде помолен да създаде график, да провери код и да генерира изображение.
Времето, прекарано в задача с помощта на Copilot, е записано и сравнено с времето, необходимо на служителите да изпълнят задачите ръчно. Оказа се, че потребителите на M365 Copilot са съставяли обобщения на отчети и са писали имейли по-бързо, по-добре и по-точно от тези, които не са използвали бота.
Спестяването на време при писане на имейли обаче е било много малко. Анализът на данни в Excel е извършван от бота по-бавно и с по-лошо качество и точност, отколкото ръчно.
Слайдовете в PowerPoint са създавани средно със 7 минути по-бързо, но качеството и точността са били по-лоши и резултатите е трябвало да се коригират ръчно.
Според участниците в експеримента, рутинните административни задачи са били по-ефективни с помощта на Microsoft 365 Copilot, освобождавайки време за по-важни задачи. Някои други участници в експеримента съобщават, че са използвали спестеното време, за да посещават обучения или да се разхождат по време на обедните почивки.
Но всичко това не означава, че асистентът с изкуствен интелект всъщност е увеличил производителността на служителите, въпреки че самата Microsoft, когато промотира Copilot, се фокусира върху спестяването на време.
Освен това, 22% от участниците отбелязват наличието на „халюцинации” в асистента с изкуствен интелект, 43% не ги забелязват, други 11% не могат да кажат със сигурност дали е имало „халюцинации” по време на тестването, а останалите запазват мълчание.
В същото време отношението на колегите към потребителите на Copilot също е нееднозначно – някои се отнасят към участниците в експеримента с известна степен „хладно”. Преди да вземе окончателно решение за масово внедряване на Microsoft 365 Copilot, ведомството ще проведе анализ на екологичните разходи и ще изчисли съотношението цена-качество на услугата.
