duży kontrast mapa strony
Strona startowa » Nauka i technologie »

Wyszukiwarka Nekst uporządkuje polski internet

Polska Agencja Prasowa / Ludwika Tomala

Szacuje się, że w polskim internecie jest teraz około miliarda polskojęzycznych dokumentów. Dane te porządkują i analizują twórcy polskiej semantycznej wyszukiwarki internetowej Nekst. System pozwolić ma na precyzyjniejsze przeszukiwanie polskich tekstów.
Nad wyszukiwarką pracuje zespół z Instytutu Podstaw Informatyki PAN w Warszawie, a także z Politechniki Wrocławskiej. Badacze chcą do czerwca tego roku zeskanować w sumie 500 mln dokumentów (tekstów - m.in. artykułów czy plików pdf), a więc połowę polskiego internetu. Wtedy też Nekst ma być udostępniony użytkownikom. Z czasem badacze chcą zeskanować i na bieżąco aktualizować dane o wszystkich polskich tekstach w internecie.

"Nawet Google czy Yahoo, przy całej swojej potędze, prawdopodobnie nie mają zebranego całego polskiego internetu" - przyznaje kierownik projektu, prof. Jacek Koronacki, dyrektor IPI PAN. Szacuje, że wyszukiwarki te gromadzić mogą np. tylko co piąty dokument po polsku.

Na razie twórcom polskiej wyszukiwarki udało się zebrać 160 mln polskojęzycznych dokumentów, a więc ok. 16 proc. polskiego internetu. Jak zaznacza w rozmowie z PAP jeden z twórców wyszukiwarki, dr Dariusz Czerski z IPI PAN, problem nie leży w przechowaniu na serwerach instytutu surowych tekstów. Skompresowane zajmują one ok. 3 terabajtów, czyli zmieściłyby się na trzech niedużych przenośnych dyskach twardych. Jednak teksty te należy na bieżąco opisywać i uporządkować, aby można je było przetwarzać dla potrzeb wyszukiwania.

Polska wyszukiwarka będzie działała według całkiem innych algorytmów niż największe wyszukiwarki międzynarodowe. "Te wyszukiwarki nie mają mechanizmów, które naśladowałyby rozumienie języka" - opowiada prof. Koronacki i podkreśla, że Nekst będzie pierwszą w Europie tak dużą wyszukiwarką semantyczną dla narodowego języka.

Nekst nie będzie wyszukiwała na stronie jedynie ciągu znaków - słów kluczowych, ale raczej analizować będzie gromadzone teksty pod kątem najczęściej pojawiających się w nich istotniejszych słów i wyrażeń wielosłownych (np. fraz rzeczownikowych). Dzięki temu wyszukiwarka może "wywnioskować", o czym jest dany tekst i jak najskuteczniej go zaklasyfikować. "Musimy umieć budować mechanizmy rozumienia języka, które zdecydowanie różnią się od inżynierii dla języka angielskiego. Musimy zwłaszcza umieć uwzględniać fleksję i swobodny szyk zdania" - wyjaśnia prof. Koronacki.

I tak przykładowo, jeśli internauta zapyta o opony, Nekst ujednoznaczni zapytanie i dopyta, czy chodzi o opony samochodowe (bo może też chodzić opony mózgowe). Pokaże szukającemu linki także do stron, w których nie ma frazy „opony samochodowe”, ale występuje rdzeń słowa "opony" i pojawiają się inne słowa, które wskażą, że strona rzeczywiście poświęcona jest motoryzacji.

Pytania zadawane wyszukiwarce mogą być zamawiane w języku naturalnym, a więc będą bardziej podobne do pytań zadawanych człowiekowi. Jej twórcy chcą też, by Nekst podawała nie tylko linki do stron, ale również wskazywała interesujący osobę zadającą pytanie fragment strony. Jeśli zapytamy, w którym roku zmarł Kazimierz Wielki, powinna ona wskazać w dokumentach zdania zawierające odpowiedź - np. "Kazimierz Wielki zmarł w 1370 r".

Naukowcy pracują też nad tym, by ich system potrafił analizować wydźwięk emocjonalny danej wypowiedzi. Mechanizm będzie umiał rozpoznać, czy o danym zjawisku, firmie czy osobie mówi się w pozytywny czy w negatywny sposób. Uczestnicy projektu Nekst chcą też, by ich system w przyszłości usprawnił wykrywanie plagiatów.

W ramach projektu trwają też prace nad analizą obrazów - wyszukiwarka w dokumentach będzie mogła po pewnego stopnia rozpoznawać, co jest na ilustracjach. (PAP)

Abonament

Nauka i technologie

Konferencja Evolang w ToruniuTrwa Międzynarodowa Konferencja Naukowa Evolang. Jest to odbywające się co dwa lata największe na świecie sympozjum dotyczące rozwoju języka. Po raz pierwszy impreza została zorganizowana w Polsce. To już 12. edycja Evolang. Poprzednie odbyły się w Nowym Orleanie, Wiedniu i Kioto. UMK w Toruniu wysoko w Rankingu Studiów Inżynierskich Perspektywy 2018"Fizyka techniczna" na Uniwersytecie Mikołaja Kopernika w Toruniu znalazła się na trzecim miejscu Rankingu Studiów Inżynierskich Perspektywy 2018. "Fizyka techniczna" wyprzedziła analogiczne kierunki na Politechnikach - Wrocławskiej, Gdańskiej i Łódzkiej. Rywalizacja obejmuje 21 najpopularniejszych kierunków technicznych na polskich uczelniach. Pod uwagę b ... W odróżnieniu od obecnego modelu nowy System Sprzedaży Biletów Online będzie własnością przewoźnika. Spółka będzie miała pełen wpływ na jego funkcjonowanie i kierunki rozwoju. Grafika: PolregioPolregio: duże zainteresowanie przetargiem na system sprzedaży biletów onlineJest duże zainteresowanie ze strony firm, które zamierzają wziąć udziału w przetargu ogłoszonym przez Polregio na dostawę i wdrożenie Systemu Sprzedaży Biletów Online (SSBO) - poinformował we wtorek PAP Andrzej Okoń dyrektor Biura Informatycznych Systemów sprzedaży w Polregio. "Zainteresowanie jest bardzo duże, bo już wcześniej przeprowadzaliśmy dialog tec ... "Żywe laboratoria" w Bydgoskim Parku Przemysłowo-Technologicznym"Żywe laboratoria" i warsztaty na czterech tysiącach metrów kwadratowych. W Bydgoskim Parku Przemysłowo-Technologicznym powstanie hala dla innowacyjnych firm. Co się w hali dla innowacyjnych firm? "Pomieszczenia służące do demonstracji usług produktów SE LIVE LAB, czyli żywe laboratoria gdzie producenci będą mogli spotkać się z użytkownikami. Mamy takie pr ... Czwórka Polaków w finałach Konkursu Prac Młodych Naukowców UEKonrad Adler, Bartosz Biesiadecki i Oliwia Krzemień, oraz Filip Wylęgała zostali zdobywcami trzech równorzędnych pierwszych nagród w polskiej edycji 30. Konkursu Prac Młodych Naukowców UE (EUCYS). We wrześniu będą reprezentować Polskę w międzynarodowych finałach EUCYS w Dublinie. Wyniki konkursu ogłoszono w niedzielę w Centrum Nauki Kopernik w Warszawie. O ... Znów można podglądać online codzienne życie bocianów czarnychPonownie można oglądać transmisję online w internecie z gniazda bocianów czarnych żyjących w jednym z lasów na terenie woj. łódzkiego. Objęte w Polsce ścisłą ochroną ptaki wróciły do niego po zimowym pobycie w Afryce. Codzienne życie bocianów czarnych można podglądać od dwóch lat. Pionierski w skali kraju i jeden z niewielu w Europie projekt edukacyjny rea ... Naukowcy z UMK zbadali malowidła Rubensa w LondynieGrupa naukowców z Uniwersytetu Mikołaja Kopernika w Toruniu zbadała malowidła Petera Rubensa na suficie Whitehall Banqueting House w Londynie. Polacy zastosowali nowatorskie metody i sprzęt, który sami skonstruowali. "Badania te realizowane są w ramach projektów finansowanych przez Unię Europejską. Uczestniczymy już w drugim takim projekcie, tym razem o ak ... Wiosna w przyrodzie oznacza ruch i kolory, nie inaczej jest na niebie... Fot. Piotr MajewskiA tymczasem na kwietniowym niebie...Wiosna w przyrodzie oznacza ruch i kolory. Nie inaczej jest na niebie, a kwiecień 2018 dostarcza nam multum przykładów: od przelotów Międzynarodowej Stacji Kosmicznej, przez wieczorne spotkania Księżyca, Wenus i jasnych gwiazd, po poranny szał niebieskich ciał! Zwróćmy szczególną uwagę na Srebrny Glob z profilu i spróbujmy go sfotografować. To wcale nietru ... Geobloking abonamentów cyfrowych znika; z serialami na wakacjeOd niedzieli mieszkańcy UE będą mogli korzystać ze swoich cyfrowych abonamentów, takich jak Netflix czy Ipla, również za granicą. Wszyscy użytkownicy, którzy zapłacili za dostęp do filmów lub seriali w sieci, będą mogli obejrzeć je również na wakacjach. Do tej pory dostęp do wielu usług internetowych był ograniczony geograficznie, a mieszkańcy państw unijn ... Wykradali oni wrażliwe dane z uniwersytetów, instytucji rządowych i firm. Fot. pixabay.comDziewięciu irańskich hakerów z zarzutami za cyberataki na rzecz TeheranuMinisterstwo sprawiedliwości Stanów Zjednoczonych podało w piątek, że postawiono zarzuty dziewięciu irańskim hakerom w związku z cyberatakami, które przeprowadzali na rzecz Teheranu. Wykradali oni wrażliwe dane z uniwersytetów, instytucji rządowych i firm. Irańscy hakerzy zostali oskarżeni o pozyskiwanie na rzecz Teheranu dużych ilości wrażliwych danych z ...
1234567
Ważne: nasze strony wykorzystują pliki cookies.

Używamy informacji zapisanych za pomocą cookies i podobnych technologii m.in. w celach reklamowych i statystycznych oraz w celu dostosowania naszych serwisów do indywidualnych potrzeb użytkowników. Mogą też stosować je współpracujący z nami reklamodawcy, firmy badawcze oraz dostawcy aplikacji multimedialnych. W programie służącym do obsługi internetu można zmienić ustawienia dotyczące cookies. Korzystanie z naszych serwisów internetowych bez zmiany ustawień dotyczących cookies oznacza, że będą one zapisane w pamięci urządzenia. Więcej informacji można znaleźć w naszej Polityce prywatności

Zamieszczone na stronach internetowych www.radiopik.pl materiały sygnowane skrótem „PAP” stanowią element Serwisów Informacyjnych PAP, będących bazą danych, których producentem i wydawcą jest Polska Agencja Prasowa S.A. z siedzibą w Warszawie. Chronione są one przepisami ustawy z dnia 4 lutego 1994 r. o prawie autorskim i prawach pokrewnych oraz ustawy z dnia 27 lipca 2001 r. o ochronie baz danych. Powyższe materiały wykorzystywane są przez Polskie Radio Regionalną Rozgłośnię w Bydgoszczy „Polskie Radio Pomorza i Kujaw” S.A. na podstawie stosownej umowy licencyjnej. Jakiekolwiek wykorzystywanie przedmiotowych materiałów przez użytkowników Portalu, poza przewidzianymi przez przepisy prawa wyjątkami, w szczególności dozwolonym użytkiem osobistym, jest zabronione. PAP S.A. zastrzega, iż dalsze rozpowszechnianie materiałów, o których mowa w art. 25 ust. 1 pkt. b) ustawy o prawie autorskim i prawach pokrewnych, jest zabronione.

Rozumiem i wchodzę na stronę