Wyszukiwarka Nekst uporządkuje polski internet
Szacuje się, że w polskim internecie jest teraz około miliarda polskojęzycznych dokumentów. Dane te porządkują i analizują twórcy polskiej semantycznej wyszukiwarki internetowej Nekst. System pozwolić ma na precyzyjniejsze przeszukiwanie polskich tekstów.
Nad wyszukiwarką pracuje zespół z Instytutu Podstaw Informatyki PAN w Warszawie, a także z Politechniki Wrocławskiej. Badacze chcą do czerwca tego roku zeskanować w sumie 500 mln dokumentów (tekstów - m.in. artykułów czy plików pdf), a więc połowę polskiego internetu. Wtedy też Nekst ma być udostępniony użytkownikom. Z czasem badacze chcą zeskanować i na bieżąco aktualizować dane o wszystkich polskich tekstach w internecie.
"Nawet Google czy Yahoo, przy całej swojej potędze, prawdopodobnie nie mają zebranego całego polskiego internetu" - przyznaje kierownik projektu, prof. Jacek Koronacki, dyrektor IPI PAN. Szacuje, że wyszukiwarki te gromadzić mogą np. tylko co piąty dokument po polsku.
Na razie twórcom polskiej wyszukiwarki udało się zebrać 160 mln polskojęzycznych dokumentów, a więc ok. 16 proc. polskiego internetu. Jak zaznacza w rozmowie z PAP jeden z twórców wyszukiwarki, dr Dariusz Czerski z IPI PAN, problem nie leży w przechowaniu na serwerach instytutu surowych tekstów. Skompresowane zajmują one ok. 3 terabajtów, czyli zmieściłyby się na trzech niedużych przenośnych dyskach twardych. Jednak teksty te należy na bieżąco opisywać i uporządkować, aby można je było przetwarzać dla potrzeb wyszukiwania.
Polska wyszukiwarka będzie działała według całkiem innych algorytmów niż największe wyszukiwarki międzynarodowe. "Te wyszukiwarki nie mają mechanizmów, które naśladowałyby rozumienie języka" - opowiada prof. Koronacki i podkreśla, że Nekst będzie pierwszą w Europie tak dużą wyszukiwarką semantyczną dla narodowego języka.
Nekst nie będzie wyszukiwała na stronie jedynie ciągu znaków - słów kluczowych, ale raczej analizować będzie gromadzone teksty pod kątem najczęściej pojawiających się w nich istotniejszych słów i wyrażeń wielosłownych (np. fraz rzeczownikowych). Dzięki temu wyszukiwarka może "wywnioskować", o czym jest dany tekst i jak najskuteczniej go zaklasyfikować. "Musimy umieć budować mechanizmy rozumienia języka, które zdecydowanie różnią się od inżynierii dla języka angielskiego. Musimy zwłaszcza umieć uwzględniać fleksję i swobodny szyk zdania" - wyjaśnia prof. Koronacki.
I tak przykładowo, jeśli internauta zapyta o opony, Nekst ujednoznaczni zapytanie i dopyta, czy chodzi o opony samochodowe (bo może też chodzić opony mózgowe). Pokaże szukającemu linki także do stron, w których nie ma frazy „opony samochodowe”, ale występuje rdzeń słowa "opony" i pojawiają się inne słowa, które wskażą, że strona rzeczywiście poświęcona jest motoryzacji.
Pytania zadawane wyszukiwarce mogą być zamawiane w języku naturalnym, a więc będą bardziej podobne do pytań zadawanych człowiekowi. Jej twórcy chcą też, by Nekst podawała nie tylko linki do stron, ale również wskazywała interesujący osobę zadającą pytanie fragment strony. Jeśli zapytamy, w którym roku zmarł Kazimierz Wielki, powinna ona wskazać w dokumentach zdania zawierające odpowiedź - np. "Kazimierz Wielki zmarł w 1370 r".
Naukowcy pracują też nad tym, by ich system potrafił analizować wydźwięk emocjonalny danej wypowiedzi. Mechanizm będzie umiał rozpoznać, czy o danym zjawisku, firmie czy osobie mówi się w pozytywny czy w negatywny sposób. Uczestnicy projektu Nekst chcą też, by ich system w przyszłości usprawnił wykrywanie plagiatów.
W ramach projektu trwają też prace nad analizą obrazów - wyszukiwarka w dokumentach będzie mogła po pewnego stopnia rozpoznawać, co jest na ilustracjach. (PAP)
Zobacz także
Księżyc spotyka Marsa i Spikę
2014-03-17, 11:08W nocy z wtorku na środę Księżyc najpierw zbliży się do Spiki, a następnie do jasnego Marsa - poinformował PAP dr hab. Arkadiusz Olech z Centrum Astronomicznego PAN w Warszawie. Czytaj dalej »
![](public/info/2014/thumb_480_0/2014-03-16_1394977431.jpg)
Miasteczko „Planeta Energii” pojawi się w Inowrocławiu oraz Toruniu
2014-03-16, 14:26Uczniowie z grupy świetlicowej pod opieką Katarzyny Pawłowskiej ze Szkoły Podstawowej nr 11 w Inowrocławiu oraz klasy III C pod opieką Anny Wasiłek ze Szkoły Podstawowej nr 10 w Toruniu znaleźli się wśród laureatów konkursu edukacyjnego… Czytaj dalej »
Liczba Pi ma swoje święto
2014-03-14, 08:26Badali ją już starożytni Egipcjanie, Wisława Szymborska poświęciła jej wiersz, a matematyk William Shanks przez 15 lat wyliczał 707 cyfr jej rozwinięcia. 14 marca swój dzień obchodzi liczba Pi. Z tej okazji kilka uczelni planuje… Czytaj dalej »
Europosłowie chcą uniwersalnych ładowarek do telefonów komórkowych
2014-03-13, 22:19Parlament Europejski poparł w czwartek nowe unijne przepisy, które otwierają drogę do wprowadzenia uniwersalnej ładowarki do telefonów komórkowych oraz niektórych innych urządzeń radiowych, jak odbiorniki GPS. Czytaj dalej »
Start polskiego satelity naukowego Heweliusz przełożony na lipiec
2014-03-13, 14:12Ze względu na usterkę chińskiej rakiety, Heweliusz - polski satelita naukowy - wystartuje w kosmos najwcześniej w lipcu - poinformował PAP inż. Tomasz Zawistowski. To już kolejna w ciągu kilku miesięcy zmiana terminu startu. Czytaj dalej »