Как големите данни хвърлиха в смут голямата наука

Има огромни проблеми в начина, по който се прави науката в ерата на „големите данни“ (източник: CC0 Public Domain)

Научните изследвания разкриват нови и нови тенденции и взаимовръзки, а потенциалът на „големите данни“ обещава лесно „сдъвкване“ на колосалния обем информация от нови проучвания. Оказва се, че може би това не е чак толкова добре. Сред учените нараства загрижеността, че в много области на науката въпросните изследвания изглежда невъзможно да се възпроизведат.

Тази криза може да се окаже тежка. Например, през 2011 г. Bayer HealthCare преглежда 67 вътрешни проекта и установява, че от тях по-малко от 25% могат да бъдат възпроизведени. Освен това в две трети от проектите има големи несъответствия. Съвсем наскоро, през ноември тази година, анализът на 28 важни документа от областта на психологията установи, че само половината от изследванията реално могат да се възпроизведат.

Подобни констатации се отчитат и в други области, включително медицината и икономиката. Поразителните резултати поставят под въпрос доверието към науката. Къде се корени този голям проблем?

Много фактори имат принос, смята Кай Жанкг, главен асистент по статистика и изследвания в Университета на Северна Каролина. „Като статистик аз виждам огромни проблеми в начина, по който се прави науката в ерата на „големите данни“, казва Жанг в анализа си, цитиран от theconversation.com. Според него, кризата се дължи отчасти на невалидни статистически анализи, които преобръщат традиционния научен подход на хипотеза и проучване.

Научният метод

В класическия експеримент статистикът и ученият сядат заедно и първо формулират хипотеза. След това учените провеждат експерименти за събиране на данни, които се анализират от статистиците. Данните потвърждават или отхвърлят хипотезата.

Известен пример за този процес е историята с „жената, дегустираща чай“. Някъде през 20-те години на 20-ти век, на парти на академици една жена твърди, че може да разпознае по аромата дали в чашата е сипан първо чай или е сипано първо мляко. Статистикът Роналд Фишър се усъмнява в нейния талант. Той смята, че ако на жената се поднесат четири чаши, в които първо е сипан чай, а после 4 чаши, в които първо е сипано мляко, то тя може да познае, като нейните предположения ще следват модел на вероятностите, наречен „хипергеометрично разпределение“.

Направен е експеримент с осем чаши чай в произволен ред. Според мълвата, жената успяла да категоризира всичките осем чаши съвсем правилно. Това са силни доказателства срещу хипотезата на Фишър. Вероятността тя да успее да „уцели“ правилните отговори с догадки е изключително ниска – 1,4%.

Този процес обаче – хипотезата, събирането на данни, а след това анализът им – е рядкост в ерата на „големите данни“. Днешните технологии могат да събират огромни количества данни – от порядъка на 2,5 екзабайта на ден – но научният подход не се спазва, смята Жанг.

Примерът с жената, дегустираща чай, илюстрира как учените могат „на късмет“ да забележат интересни, но фалшиви сигнали в даден набор от данни (източник: CC0 Public Domain)

Въпреки, че трупането на данни е положително, науката често се развива с много по-ниска скорост. Така изследователите може и да не знаят как да формулират правилната хипотеза за анализа на данните. За разлика от класическия случай с дамата с чая, тук бива преобърнат редът на изграждането на хипотезата и анализирането на данните.

Проблеми с данните

Защо това преобръщане може да причини голям проблем? Жанг предлага да разгледаме „версия на дамата с чая при „големите данни“. Това ще рече – „100 дами с чая“.

Да предположим, че има 100 дами, които не могат да разберат разликата между чая, но правят догадка след всяко вкусване от своите 8 чашки чай. Има 75,6 процента вероятност поне една дама де успее да отгатне правилно.

Ако един статистик я наблюдава и види изумителната поредица от отгатвания за чашите с чай, той може да проведе статистически анализ посредством въпросното „хипергеометрично разпределение“. Той ще стигне до заключението, че тази дама наистина има способността да отгатва истината за всяка чаша чай. Но този резултат не може да бъде възпроизведен – да бъде повторен. Ако същата дама направи втори опит с 8 чаши чай, то тя най-вероятно няма да познае за всичките чаши. Просто няма да има този късмет, който е имала първият път.

Този пример илюстрира как учените могат „на късмет“ да забележат интересни, но фалшиви сигнали в даден набор от данни. Те могат да формулират хипотези на база тези сигнали, след това да използват един и същи набор от данни, за да направят заключенията си, твърдейки, че тези признаци са реални. Може да отнеме известно време, преди да открият, че техните заключения не могат да бъдат възпроизведени. Този проблем е особено често срещан при големия анализ на данните, поради големия обем на данните.

„Най-лошото е, че този процес може да позволи на учените да манипулират данните, за да произведат най-публикувания резултат,“ казва Жанг. „Статистиците се шегуват за такава практика – „ако измъчвате данните достатъчно дълго, те все ще ви кажат нещо“. Но дали това нещо може да се възпроизведе и дали е валидно?!

По-сериозни анализи

Как могат учените да избегнат проблема и да постигнат възпроизводими резултати при анализа на „големите данни“? Отговорът е прост: трябва да бъдат по-внимателни.