Миналото лято търсачката на Google отмина един крайъгълен камък, добавяйки трилионния адрес от списъка с уеб страници, които познава. Но, колкото и невъзможно голям да изглежда техния брой, това представлява само една малка част от необятния океан от данни на глобалния уеб. Зад тези трилион страници се крие още по-голямо количество скрити данни – финансова информация, каталози със стоки, разписания на полети, медицински изследвания и всякакъв друг вид материали, събрани в бази данни, които остават до голяма степен невидими за търсачките.
Трудностите, с които се сблъскват най-популярните търсачки, са свързани с проникването в така наречения “дълбок уеб” (Deep Web). Те им пречат да не могат все още да дават отговори на въпроси като “Какъв е най-евтиният билет за полет от Ню Йорк до Лондон за утре?” Отговорите са готови, стига търсачките да знаят как да ги намерят.
Сега започва да се оформя нов вид технологии, които ще разширят обхвата на търсачките в далечните ъгли на уеб. Когато това се случи, то не само ще подобри качеството на резултатите от търсенето, но и окончателно ще промени начина, по който компаниите ще правят онлайн бизнес.
Търсачките разчитат на програми, познати като гъсеници (или паяци), които събират информация като вървят по следите на хипервръзките, от които е образувана глобалната мрежа. Този подход работи добре за страници, които оформят повърхността на уеб, но те проникват по-трудно в базите данни, които отговарят на написаните заявки.
“Тази част на уеб е само върха на айсберга”, казва Ананд Раджараман, съосновател на Kosmix – нова компания за изследване на Deep Web. Инвеститор в нея е главният изпълнителен директор на Amazon.com Джефри Бeзос. В Kosmix са разработили софтуер, която сравнява търсения с бази данни, които най-вероятно съдържат релевантна информация, след което връща преглед на темата, извлечена от множество източници.
“Повечето търсачки се опитват да ви помогнат да намерите игла в купа сено”, казва г-н Раджараман, “но ние се опитваме да ви помогнем да разучите цялата купа”.
Тази купа сено е безкрайно голяма. В уеб има свързани милиони бази данни и безброй много възможни пермутации на термини за търсене. Просто няма начин която и да е търсачка, независимо колко мощна е тя, да претърси всяка възможна комбинация от данни в движение.
За да извлекат смислени данни от Deep Web, търсачките трябва да анализират термините за търсене на потребителите и да решат как да свържат тези заявки с конкретни бази данни. При огромния брой варианти на формулиране на заявки за търсене и структури от бази данни тази задача представлява сериозна изчислителна трудност.
“Това е възможно най-интересният проблем с интеграцията на данни”, казва Алън Халеви, бивш професор по компютърни науки в университета на Вашингтон, който сега води екипа на Google, заанимаващ се с решаване на ребуса Deep Web.
Стратегията на Google за Deep Web включва изпращането на програма, която да анализира съдържанието на всяка база данни, която открие. Ако например търсачката намери страница с форма, отнасяща се до изобразително изкуство, тя започва да налучва вероятни термини за търсене като “Рембранд”, “Пикасо” и т.н., докато някои от тези термини върне съвпадение.
След това търсачката анализира резултатите и разработва прогнозен модел на съдържанието на базата данни.
Професор Джулиана Фриър от университета на Юта работи върху амбициозен проект, наречен DeepPeep, който има за крайна цел да обхване и индексира всяка база данни в глобалния уеб. Извличането на толкова много комбинации от данни изисква сложен модел на изчисления на вероятности.
“Наивният начин е да се търсят всички думи в речника”, казва проф. Фриър. Вместо това, DeepPeep започва с малък брой примерни заявки, които след това могат да се използват за формиране на разбиране на базите данни и избор на правилните думи за търсене.
На базата на този анализ, програмата след това генерира автоматични термини за търсене, като се опитва да обхване колко може повече данни. Г-жа Фриър твърди, че нейният подход открива повече от 90% от съдържанието на всяка дадена база данни. Нейната работа наскоро привлече вниманието на една от големите компании, които предлагат търсене в уеб.
Извън сферата на потребителските търсения, технологиите за Deep Web могат да позволят на компаниите да използват данните по нови начини. Например, сайт за здравеопазване може да се реферира към данни от фармацевтични компании и да ги сравни и допълни с най-новите открития от медицински изследвания.
Тази степен на интеграция на данни може евентуално да посочи пътя към нещо подобно на семантичния уеб, който дава една все още нереализирана визия за мрежа от взаимосвързани данни. Технологиите за Deep Web носят обещанието, че подобни ползи могат да се постигнат на много по-ниска цена чрез автоматизация на процеса на анализ на структурите от бази данни и многостранно рефериране на резултатите.
Много интересно до къде ли ще стигнат тези хора. Google в момента са наистина напред!