duży kontrast mapa strony
Strona startowa » Nauka i technologie »

Wyszukiwarka Nekst uporządkuje polski internet

Polska Agencja Prasowa / Ludwika Tomala

Szacuje się, że w polskim internecie jest teraz około miliarda polskojęzycznych dokumentów. Dane te porządkują i analizują twórcy polskiej semantycznej wyszukiwarki internetowej Nekst. System pozwolić ma na precyzyjniejsze przeszukiwanie polskich tekstów.
Nad wyszukiwarką pracuje zespół z Instytutu Podstaw Informatyki PAN w Warszawie, a także z Politechniki Wrocławskiej. Badacze chcą do czerwca tego roku zeskanować w sumie 500 mln dokumentów (tekstów - m.in. artykułów czy plików pdf), a więc połowę polskiego internetu. Wtedy też Nekst ma być udostępniony użytkownikom. Z czasem badacze chcą zeskanować i na bieżąco aktualizować dane o wszystkich polskich tekstach w internecie.

"Nawet Google czy Yahoo, przy całej swojej potędze, prawdopodobnie nie mają zebranego całego polskiego internetu" - przyznaje kierownik projektu, prof. Jacek Koronacki, dyrektor IPI PAN. Szacuje, że wyszukiwarki te gromadzić mogą np. tylko co piąty dokument po polsku.

Na razie twórcom polskiej wyszukiwarki udało się zebrać 160 mln polskojęzycznych dokumentów, a więc ok. 16 proc. polskiego internetu. Jak zaznacza w rozmowie z PAP jeden z twórców wyszukiwarki, dr Dariusz Czerski z IPI PAN, problem nie leży w przechowaniu na serwerach instytutu surowych tekstów. Skompresowane zajmują one ok. 3 terabajtów, czyli zmieściłyby się na trzech niedużych przenośnych dyskach twardych. Jednak teksty te należy na bieżąco opisywać i uporządkować, aby można je było przetwarzać dla potrzeb wyszukiwania.

Polska wyszukiwarka będzie działała według całkiem innych algorytmów niż największe wyszukiwarki międzynarodowe. "Te wyszukiwarki nie mają mechanizmów, które naśladowałyby rozumienie języka" - opowiada prof. Koronacki i podkreśla, że Nekst będzie pierwszą w Europie tak dużą wyszukiwarką semantyczną dla narodowego języka.

Nekst nie będzie wyszukiwała na stronie jedynie ciągu znaków - słów kluczowych, ale raczej analizować będzie gromadzone teksty pod kątem najczęściej pojawiających się w nich istotniejszych słów i wyrażeń wielosłownych (np. fraz rzeczownikowych). Dzięki temu wyszukiwarka może "wywnioskować", o czym jest dany tekst i jak najskuteczniej go zaklasyfikować. "Musimy umieć budować mechanizmy rozumienia języka, które zdecydowanie różnią się od inżynierii dla języka angielskiego. Musimy zwłaszcza umieć uwzględniać fleksję i swobodny szyk zdania" - wyjaśnia prof. Koronacki.

I tak przykładowo, jeśli internauta zapyta o opony, Nekst ujednoznaczni zapytanie i dopyta, czy chodzi o opony samochodowe (bo może też chodzić opony mózgowe). Pokaże szukającemu linki także do stron, w których nie ma frazy „opony samochodowe”, ale występuje rdzeń słowa "opony" i pojawiają się inne słowa, które wskażą, że strona rzeczywiście poświęcona jest motoryzacji.

Pytania zadawane wyszukiwarce mogą być zamawiane w języku naturalnym, a więc będą bardziej podobne do pytań zadawanych człowiekowi. Jej twórcy chcą też, by Nekst podawała nie tylko linki do stron, ale również wskazywała interesujący osobę zadającą pytanie fragment strony. Jeśli zapytamy, w którym roku zmarł Kazimierz Wielki, powinna ona wskazać w dokumentach zdania zawierające odpowiedź - np. "Kazimierz Wielki zmarł w 1370 r".

Naukowcy pracują też nad tym, by ich system potrafił analizować wydźwięk emocjonalny danej wypowiedzi. Mechanizm będzie umiał rozpoznać, czy o danym zjawisku, firmie czy osobie mówi się w pozytywny czy w negatywny sposób. Uczestnicy projektu Nekst chcą też, by ich system w przyszłości usprawnił wykrywanie plagiatów.

W ramach projektu trwają też prace nad analizą obrazów - wyszukiwarka w dokumentach będzie mogła po pewnego stopnia rozpoznawać, co jest na ilustracjach. (PAP)

Cykla audycji „Bezpieczna jazda”

Nauka i technologie

Specjaliści: przepisy UE dot. danych osobowych mogą zaktywizować cyberprzestępcówUnijne przepisy o ochronie danych osobowych, które mają wejść w życie za niecały rok, paradoksalnie otwierają cyberprzestępcom nowe możliwości szantażu – oceniają informatycy śledczy. Ich zdaniem znacząco zwiększy się liczba ataków na bazy danych osobowych. 25 maja 2018 r. w krajach członkowskich Unii Europejskiej zaczną obowiązywać nowe unijne przepisy o ... Lista zakupów przyszłości; polska aplikacja zakupowa ma zawojować światAplikacja zakupowa Listonic stworzona przez absolwentów Politechniki Łódzkiej to najczęściej pobierany tego typu program na rynkach anglojęzycznych. Ma jeszcze kilka innych wersji językowych i będą kolejne - w tym indonezyjska i hindi. Autorzy mają wizję listy, która domyśli się, co chcemy kupić. „Zakupy z listą to jest oszczędzanie pieniędzy, bo ludzie wy ... Eksperci: postęp w leczeniu chłoniaków agresywnych i nawrotowychNawet agresywną postać chłoniaka udaje się skutecznie leczyć i dla niektórych pacjentów może to być choroba przewlekła – przekonywali eksperci podczas 14. międzynarodowej konferencji poświęconej tej chorobie (ICML) w Lugano. Prof. Eric Van Den Neste z kliniki uniwersyteckiej Saint-Luc w Brukseli wyjaśniał, że dwie trzecie chorych na chłoniaki, które są now ... Ekspert: o mózg powinniśmy dbać tak samo, jak o inne narządyO mózg należy dbać przez całe życie; badania dowodzą, że dzięki sportowi i zdrowej diecie może być zupełnie sprawny aż do starości - powiedziała PAP prof. Dorota Bukowska z AWF w Poznaniu. "Tak jak o inne narządy naszego organizmu, tak musimy dbać o mózg i mięśnie. Pamiętajmy, że mózg steruje czynnością wszystkich funkcji naszego organizmu. To, że mrugniem ... Amazon i Apple chcą kupić dział mikroprocesorów ToshibyApple i Amazon staną wspólnie do przetargu o kupno działu mikroprocesorów Toshiby, wraz z koncernem Hon Hai Precision Industry - podała agencja Kyodo, powołując się na informacje firmy Sharp. Według agencji Kyodo, dzięki wsparciu "poważnych amerykańskich koncernów technologicznych", Hon Hai - największy na świecie producent elektroniki i komponentów komput ... Uczestnicy spotkania wikipedystów w Bydgoszczy. Fot. Kontrola, Rdrozd (Praca własna) [CC BY-SA 4.0 (http://creativecommons.org/licenses/by-sa/4.0 )], Wikimedia CommonsKonferencja Wikimedia Polska w BydgoszczyPrawie 70 wikipedystów z Polski i ze świata przyjechało do Bydgoszczy na konferencję Wikimedia Polska, czyli największy doroczny zlot twórców Wikipedii. - Projekty Wikimedia powstają wyłącznie dzięki pracy wolontariuszy. Na górze każdej strony Wikipedii znajduje się przycisk "Edytuj". Wystarczy w niego kliknąć, żeby poprawić jakiś przecinek albo dopisać ja ... Ekspert: stare zdjęcia najlepiej oglądać w rękawiczkachZdjęcia najlepiej jest oglądać w bawełnianych rękawiczkach; najcenniejszych nie wieszać na ścianach; fotografie nie lubią też zmian temperatury - mówi Karolina Puchała-Rojek z Fundacji "Archeologia Fotografii", która w ramach akcji "Odkurzamy domowe archiwa" uczy jak dbać o tradycyjne zdjęcia. "Odciski palców, tłuszcz, brud, który mamy na palcach po prostu ... Parlament Europejski o ultraszybkim internecie 5GParlament Europejski przyjął w czwartek rezolucję, w której wzywa kraje członkowskie do lepszej współpracy we wprowadzaniu technologii ultraszybkiego internetu 5G w całej Unii Europejskiej; przestrzegł przed opóźnieniami. W rezolucji przyjętej podczas czwartkowej sesji plenarnej Parlament Europejski podkreśla potencjał technologii 5G, która ożywi europejsk ... "Ziemia" w centrum zainteresowania 21. Pikniku NaukowegoPiknik Naukowy - największa w Europie impreza plenerowa popularyzująca naukę - odbędzie się 3 czerwca na Stadionie Narodowym w Warszawie. Motywem przewodnim tegorocznej 21. edycji pikniku jest nasza planeta Ziemia. To już 21. edycja Pikniku Naukowego Polskiego Radia i Centrum Nauki Kopernik. W tym roku wystawcy zaprezentują się niemal na dwustu stoiskach. ... Polscy archeolodzy pracują w Gruzji już od stu latPierwsi polscy archeolodzy pracowali w Gruzji już 100 lat temu; od 2012 r. działają tam wyjątkowo intensywnie, badając m.in. pozostałości rzymskiego fortu i cmentarzyska sprzed ponad 2,5 tys. lat. W środę z archeologami ma się spotkać prezydent Andrzej Duda. Przebywający od poniedziałku na oficjalnej wizycie w Gruzji prezydent Andrzej Duda wraz z małżonką ...
1234567
Ważne: nasze strony wykorzystują pliki cookies.

Używamy informacji zapisanych za pomocą cookies i podobnych technologii m.in. w celach reklamowych i statystycznych oraz w celu dostosowania naszych serwisów do indywidualnych potrzeb użytkowników. Mogą też stosować je współpracujący z nami reklamodawcy, firmy badawcze oraz dostawcy aplikacji multimedialnych. W programie służącym do obsługi internetu można zmienić ustawienia dotyczące cookies. Korzystanie z naszych serwisów internetowych bez zmiany ustawień dotyczących cookies oznacza, że będą one zapisane w pamięci urządzenia. Więcej informacji można znaleźć w naszej Polityce prywatności

Zamieszczone na stronach internetowych www.radiopik.pl materiały sygnowane skrótem „PAP” stanowią element Serwisów Informacyjnych PAP, będących bazą danych, których producentem i wydawcą jest Polska Agencja Prasowa S.A. z siedzibą w Warszawie. Chronione są one przepisami ustawy z dnia 4 lutego 1994 r. o prawie autorskim i prawach pokrewnych oraz ustawy z dnia 27 lipca 2001 r. o ochronie baz danych. Powyższe materiały wykorzystywane są przez Polskie Radio Regionalną Rozgłośnię w Bydgoszczy „Polskie Radio Pomorza i Kujaw” S.A. na podstawie stosownej umowy licencyjnej. Jakiekolwiek wykorzystywanie przedmiotowych materiałów przez użytkowników Portalu, poza przewidzianymi przez przepisy prawa wyjątkami, w szczególności dozwolonym użytkiem osobistym, jest zabronione. PAP S.A. zastrzega, iż dalsze rozpowszechnianie materiałów, o których mowa w art. 25 ust. 1 pkt. b) ustawy o prawie autorskim i prawach pokrewnych, jest zabronione.

Rozumiem i wchodzę na stronę