Български софтуер обработва данните от Марс

„Имахме нужда от единна платформа, която да поддържа нашия уеб интерфейс. Проблемът беше с комплексността на данните, а не толкова с обема на информацията”, разказа Том Стайн от НАСА

В своите мисии за изследване на Марс американската космическа агенция НАСА прилага нов подход за обработка на постъпващата информация, ползвайки софтуер, разработен от българския екип на компанията Progress.

Марсоходите не се ограничават само с картографиране на повърхността. Те са оборудвани с огромен набор от инструменти, като мултиспректрални камери, термални спектрометри, химически анализатори и др., които дават възможност на учените да опознаят Червената планета много по-детайлно от всеки друг изследван космически обект.

На езика на технологиите обаче това означава милиони файлове с данни и стотици хиляди документи, които чакат да бъдат обработени и предоставени на учените и широката публика. Проблемът не е само в обема на данните. За да бъде полезна за учените, които ще я анализират, информацията трябва да е достъпна в удобен за тях формат, да позволява различни възможности за търсене и съпоставяне. Всичко това изисква изцяло нова система.

НАСА избира платформата Progress Telerik DevCraft на Progress, на базата на която изгражда Analyst’s Notebook – фронтенд приложение, достъпно за учени и потребители от цял свят, в което са публикувани данните от марсоходите. Неговият създател – Том Стайн – беше наскоро в България, в офиса на Progress, и разказа за избора на платформата и новите възможности, които софтуерът дава на учените.

Том Стайн е мениджър „Операции“ в Planetary Data Systems на НАСА. Заедно с това той е преподавател в Университета във Вашингтон.

Г-н Стайн, когато преди 10 години НАСА изпрати марсоходите Spirit и Opportunity да изследват Марс, как управлявахте постъпващата от там информация?

През 1998 г. разработихме решение, което трябваше да обслужва наш технологичен проект в пустинята. Тогава правихме всички уебстраници на ръка. Използвахме някои ранни версии на XML стилове и шаблони, за да създадем сайтовете. За период от няколко години уебстраниците ни бяха статични.

Приложението Analyst’s Notebook е напълно безплатно навсякъде по света – всички имат пълен достъп до сайта, дори без да се регистрират

Когато започнахме мисиите на Марс, марсоходите не можеха да издържат повече от 90 дни, така че не ни беше необходима голяма автоматизирана система, която да обработва информацията. Преди да се обърнем към Progress, използвахме някои вътрешни разработки и приложения на трети страни, които да ни помагат да създаваме приложения.

Кога усетихте необходимост от нова платформа за приложенията?

Преди 6 години стана очевидно, че приложенията, които до момента използвахме, не бяха много стабилни и унифицирани. Така потърсихме друга платформа и открихме точно това, което ни е необходимо.

Първоначално системата се използваше от общество от около 200 учени на месец. Когато през 2004 г. предложихме първия публичен интерфейс, регистрирахме около 1 млн. посещения още през първата седмица. Трябва да се отбележи обаче, че дотогава НАСА не беше публикувала изображения, достъпни за широката аудитория, на ежедневна база.

Сега качваме снимките на сайта с по-ниско качество за непрофесионалните потребители, а данните за учените се публикуват 3 или 4 пъти годишно. Разработихме интерфейс с данни за научни изследвания и качваме информацията там.

Защо избрахте платформата на Progress?

Имахме нужда от единна платформа, която да поддържа нашия уеб интерфейс. Проблемът беше с комплексността на данните, а не толкова в обема на информацията. Може да имаме 300 000 изображения, но когато веднъж настроиш компонента от програмата, който получава изображенията, няма значение колко са изображенията. Данните не са само снимки, понякога получаваме информация за времето, атмосферни измервания, химични изследвания. Всичко това са различни видове информация.

Затова трябваше да фокусираме усилията си върху получаването на новите видове данни и да използваме инструментите на Progress да го правят автоматично, вместо ние – ръчно. Не трябва да проверяваме кое с кое работи, а да се концентрираме върху своята дейност като учени. Това са истинските предимства на тези инструменти за НАСА.

Бихте ли разказали как протича съвместната работа с екипа на Progress?

Нуждаехме се от платформа, върху която да построим следващата версия на Analyst’s Notebook. Започнах да търся навсякъде кое би могло да бъде най-доброто решение. Първата ми изненада беше, че никога не бях чувал за инструментите на Progress, а втората – че толкова много хора ги използват, така че наистина това беше мой пропуск.

Най-доброто ми взаимодействие с компанията е чрез поддръжката. Каквито и проблеми да сме имали, най-дългият срок за реакция е бил един ден. Най-добрата поддръжка от всичките ни вендори идва от Progress.

Освен добрата поддръжка, от Progress получихме солидни инструменти и на този етап на проекта не мога да си представя работата без тяхната платформа. Спестява ни разходите за поне един служител на пълно работно време. Така че получават златна звезда. Без платформата на Progress, трябваше да наемем специалист, който да разработи целия софтуер. Пестим и време, и пари.

Колко души разработиха Analyst’s Notebook?

Малко повече от един. Имаме колега, който през 10% от времето си работи върху картографирането на повърхността и още двама, които следят за коректността на изображенията, но основно с приложението се занимавам аз.

Снимка на повърхността на Марс, направена от Curiosity

Наблюдаваме поведението на потребителите и им даваме това, от което имат нужда. Получихме запитване за възможност за сваляне на информацията и осигурихме такава възможност. Добавяме функции, когато потребителите имат някакво запитване.

В какви формати идва информацията?

Във формат PDS – Planetary Data System. Това е формат за архивиране на данни. Обичайно идват два файла. Единият е с информацията, а другият се нарича „етикет“ и съдържа метаданните – т.е. данните за самата информация. Единият файл всъщност е снимка, която е направил роботът, а другият файл съдържа информация в колко часа е направена снимката, каква е била позицията на марсоходите, какви филтри са използвани. Тези два файла вървят заедно и са необходими заедно на учените. Тъй като това е формат за архивиране, се нуждаем и от инструменти за превод.

Кои всъщност са потребителите на системата?

След като мина първата вълна от посещения, в момента имаме около 800 различни посетители месечно. Не звучи като 1 милион, но всъщност е забележителен успех спрямо 5 години назад. Посетителите са всякакви – учени, нашият екип, студенти, дори широката аудитория. Приложението е напълно безплатно навсякъде по света. Всички имат пълен достъп до сайта, дори без да се регистрират. Могат да свалят снимките, да ги използват, за каквото им е нужно.

Открихте ли интересни неща на Марс с технологията на Progress?

Това, което правим, е да съберем данните и да ги направим достъпни за научното общество. Аз конкретно не правя анализи. Но вече знам, че няма зелени човечета там.

Има ли нещо общо Марс със Земята?

Да, има някои общи неща, например минерали. Атмосферата е различна и е много по-студено, защото Марс е по-далече от Слънцето, но виждаме ледове на полюсите. За момента изводите са, че Марс не е подходящо място за живеене. Винаги е много студено.

В каква посока планирате да развивате приложението?

Планираме скоро да добавим някои неща. Едното е търсене на изображения на база съдържание. Можете да поискате от приложението да намери всички снимки, на които има определен обект. Също така ще направим по-добри обучителни материали за потребителите. Освен това слушаме какво искат потребителите.

Учени, студенти и всеки друг има свободен достъп до снимките, заснети от марсоходите

Мисля, че най-голямото предизвикателство е как да направим системата да работи добре за новите потребители, които не знаят точно какво могат да правят с нея. Но също системата да е достатъчно добра и за опитните потребители, на които им е необходимо нещо повече от бутоните за елементарни действия.

Ще използвате ли предиктивни технологии в Analyst’s Notebook?

Търсенето на база на съдържанието ще обучава система с изкуствен интелект. Например, задаваш изображение, на което има пясъчни дюни, и искаш системата да намери всички останали такива изображения. Това допълва идеята, че ние не работим само с набор от снимки, а създаваме система, в която потребителят по-лесно намира и използва данни. Предиктивните технологии ще помогнат на учените по-добре да разбират информацията.