IBM иска да наложи Apache Spark като най-доброто решение за обработка на големи данни
IBM насочва 3500 изследователи към проекта с отворен код Apache Spark, посветен на обработката на големи данни (Big Data).
Синият гигант планира да пусне за свободно ползване своята технология SystemML, която ще подсили машинното обучение.
Самата платформа Apache Spark е позиционирана от IBM като операционна система за анализи. Целта на IBM е да направи Apache Spark десетки пъти по-бърза от технологията MapReduce.
Твърди се, че Apache Spark има 100-кратно превъзходство над MapReduce при изчисляване на логически регресии на клъстери с използване само на оперативната памет и 10-кратно превъзходство при работа с твърди дискове.
В проекта вече участват над 400 разработчици от 50 компании. IBM планира да обучи хиляди специалисти от клиентски компании в разработка на Apache Spark софтуер за големи данни, постъпващи в реално време от милиони устройства.
IBM ще си партнира за постигане на тази амбициозна цел с Databrics – комерсиална структура, която вече внедрява решения на база Apache Spark.