В 90% от общуването с хора, роботите следват успешно дадените им инструкции
(снимка: Google DeepMind)
Изследователите на Google обучиха робот да изпълнява команди и да кара из офиса с помощта на невронната мрежа Gemini, разработена от екипа на интернет компанията.
Подразделението Google DeepMind Robotics демонстрира тази седмица как роботът RT-2, обучен с помощта на невронната мрежа Google Gemini 1.5 Pro, може да изпълнява команди на естествен език и да се движи из офис пространство.
Поредица от видеоклипове показва робот, изпълняващ различни задачи в офис пространство от 9000 квадратни метра. В едно видео служител на Google моли робота да го заведе някъде да рисува. „Добре”, отговаря той, „дайте ми минута”. Ние мислим заедно с Gemini…”. След това роботът отвежда човека до бяла дъска с размерите на стена.
Във второто видео друг служител моли робота да следва указанията на дъската. Той рисува проста карта, показваща как да стигнете до Синята зона. Роботът се замисля за момент, преди да започне да следва определения маршрут до място, което се оказва… място за тестване на робота. „Следвах успешно инструкциите на дъската”, докладва роботът.
Преди записа на видеоклиповете, роботите са запознати с пространството с помощта на системата “Multimodal Instructional Navigation with Demonstration Tours (MINT)”. Благодарение на това, роботът може да се движи из офиса в съответствие с различни ориентири, посочени на глас.
След това DeepMind Robotics използва йерархична система Vision-Language-Action (VLA), „която съчетава екологичното съзнание със силата на здравия разум”. С комбиниране на процесите, роботът придобива способност да отговаря на писмени и нарисувани команди, на жестове и да навигира в района.
Според Google, при около 90% от 50 взаимодействия със служители, роботите са следвали успешно дадените им инструкции.