Софтуерна оптимизация на IBM намалява времето за обучение на невронни мрежи при работа с големи обеми данни
Технологиите за машинно обучение и изкуствен интелект на база невронни мрежи стават все по-актуални, като на тях се възлагат големи надежди в различни индустрии и сфери на науката. Наблюдава се тенденция към разпаралелване на програмните алгоритми, но не всеки софтуер може да се мащабира добре с ръста на изчислителните блокове.
IBM разбира добре този проблем и работи активно върху оптимизацията на софтуера за невронни мрежи. Наскоро специалисти на Синият гигант демонстрираха нова програма, която едновременно ускорява обучението на невронните мрежи и повишава точността на самото обучение. Това се постига чрез софтуерна оптимизация на мащабирането при увеличаване на броя на графичните ускорители в системата.
Изследователската група, оглавявана от Хилъри Хънтър, насочва своите усилия към намаляване на времето за обучение на невронната мрежа при работа с големи обеми данни. При такива задачи може да се чака часове и дори дни за получаване на резултат. Задачата на Хънтър и нейният екип е била да съкрати това време до минути и даже до секунди, при запазване или повишаване на точността. Това е наложило оптимизиране на софтуера на IBM за ефективна работа в системи с голям брой GPU ускорители.
Оптимизацията, направена в софтуера Distributed Deep Learning (DDL), повишава с 95% ефективността на мащабиране в системи с 256 ускорителя Nvidia Tesla P100. Изпитанията са проведени в системата Caffe със задачи за разпознаване на изображения, а полученият резултат се явява нов рекорд в тази област.
Предишният рекорд от 89% повишаване на ефективността беше достигнат от екипа на Facebook при използване на аналогичен хардуер. Точността на разпознаване на база от 7,5 милиона изображения достигна 33,8% със софтуера на IBM, което е също рекорд, тъй като предишното постижение беше 29,8% – през 2014 г. то отне на Microsoft десет дни за обучение на мрежата, докато IBM се справи само за 7 часа, благодарение на графичните ускорители Nvidia Tesla.