duży kontrast mapa strony
Strona startowa » Nauka i technologie »

Wyszukiwarka Nekst uporządkuje polski internet

Polska Agencja Prasowa / Ludwika Tomala

Szacuje się, że w polskim internecie jest teraz około miliarda polskojęzycznych dokumentów. Dane te porządkują i analizują twórcy polskiej semantycznej wyszukiwarki internetowej Nekst. System pozwolić ma na precyzyjniejsze przeszukiwanie polskich tekstów.
Nad wyszukiwarką pracuje zespół z Instytutu Podstaw Informatyki PAN w Warszawie, a także z Politechniki Wrocławskiej. Badacze chcą do czerwca tego roku zeskanować w sumie 500 mln dokumentów (tekstów - m.in. artykułów czy plików pdf), a więc połowę polskiego internetu. Wtedy też Nekst ma być udostępniony użytkownikom. Z czasem badacze chcą zeskanować i na bieżąco aktualizować dane o wszystkich polskich tekstach w internecie.

"Nawet Google czy Yahoo, przy całej swojej potędze, prawdopodobnie nie mają zebranego całego polskiego internetu" - przyznaje kierownik projektu, prof. Jacek Koronacki, dyrektor IPI PAN. Szacuje, że wyszukiwarki te gromadzić mogą np. tylko co piąty dokument po polsku.

Na razie twórcom polskiej wyszukiwarki udało się zebrać 160 mln polskojęzycznych dokumentów, a więc ok. 16 proc. polskiego internetu. Jak zaznacza w rozmowie z PAP jeden z twórców wyszukiwarki, dr Dariusz Czerski z IPI PAN, problem nie leży w przechowaniu na serwerach instytutu surowych tekstów. Skompresowane zajmują one ok. 3 terabajtów, czyli zmieściłyby się na trzech niedużych przenośnych dyskach twardych. Jednak teksty te należy na bieżąco opisywać i uporządkować, aby można je było przetwarzać dla potrzeb wyszukiwania.

Polska wyszukiwarka będzie działała według całkiem innych algorytmów niż największe wyszukiwarki międzynarodowe. "Te wyszukiwarki nie mają mechanizmów, które naśladowałyby rozumienie języka" - opowiada prof. Koronacki i podkreśla, że Nekst będzie pierwszą w Europie tak dużą wyszukiwarką semantyczną dla narodowego języka.

Nekst nie będzie wyszukiwała na stronie jedynie ciągu znaków - słów kluczowych, ale raczej analizować będzie gromadzone teksty pod kątem najczęściej pojawiających się w nich istotniejszych słów i wyrażeń wielosłownych (np. fraz rzeczownikowych). Dzięki temu wyszukiwarka może "wywnioskować", o czym jest dany tekst i jak najskuteczniej go zaklasyfikować. "Musimy umieć budować mechanizmy rozumienia języka, które zdecydowanie różnią się od inżynierii dla języka angielskiego. Musimy zwłaszcza umieć uwzględniać fleksję i swobodny szyk zdania" - wyjaśnia prof. Koronacki.

I tak przykładowo, jeśli internauta zapyta o opony, Nekst ujednoznaczni zapytanie i dopyta, czy chodzi o opony samochodowe (bo może też chodzić opony mózgowe). Pokaże szukającemu linki także do stron, w których nie ma frazy „opony samochodowe”, ale występuje rdzeń słowa "opony" i pojawiają się inne słowa, które wskażą, że strona rzeczywiście poświęcona jest motoryzacji.

Pytania zadawane wyszukiwarce mogą być zamawiane w języku naturalnym, a więc będą bardziej podobne do pytań zadawanych człowiekowi. Jej twórcy chcą też, by Nekst podawała nie tylko linki do stron, ale również wskazywała interesujący osobę zadającą pytanie fragment strony. Jeśli zapytamy, w którym roku zmarł Kazimierz Wielki, powinna ona wskazać w dokumentach zdania zawierające odpowiedź - np. "Kazimierz Wielki zmarł w 1370 r".

Naukowcy pracują też nad tym, by ich system potrafił analizować wydźwięk emocjonalny danej wypowiedzi. Mechanizm będzie umiał rozpoznać, czy o danym zjawisku, firmie czy osobie mówi się w pozytywny czy w negatywny sposób. Uczestnicy projektu Nekst chcą też, by ich system w przyszłości usprawnił wykrywanie plagiatów.

W ramach projektu trwają też prace nad analizą obrazów - wyszukiwarka w dokumentach będzie mogła po pewnego stopnia rozpoznawać, co jest na ilustracjach. (PAP)

Abonament

Nauka i technologie

POT zaprosiła zagranicznych youtuberów, by promowali polską ofertę turystycznąSiedmiu twórców kanałów na YouTube o międzynarodowym zasięgu przyjedzie do Polski, na zaproszenie Polskiej Organizacji Turystycznej. "Chcemy pokazać Polskę taką, jaka jest: piękną, nowoczesną, otwartą, z nieszablonową ofertą turystyczną" - mówił szef MSiT Witold Bańka. Kampania #VisitPoland wykorzystuje narzędzia influencer marketingu, czyli angażuje osoby ... JavaScript, Python, Java, HTML/CSS, PHP i C Sharp - to przykłady języków programowania, od których warto zacząć naukę w szkołach. Fot. PixabayJęzyki programowania, których warto nauczać w szkołachJavaScript, Python, Java, HTML/CSS, PHP i C Sharp - to przykłady języków programowania, od których warto zacząć naukę w szkołach. Uważane są za najbardziej pożądane przez pracodawców z sektora IT i łatwe do przyswojenia przez początkujących. Od 1 września 2017 r. programowanie jest stałym elementem kształcenia od pierwszej klasy szkoły podstawowej. Rozumia ... Naukowcy odkryli nowe wirusy u małych ssakówNieznane dotychczas gatunki wirusów występujące u małych ssaków odkryli naukowcy z Polski i USA w ramach międzynarodowego projektu. Badacze sprawdzają też, czy wirusy te mogą się przenosić na ludzi. Nowe dla nauki gatunki wirusów występujące u kretów i rzęsorków - małych ssaków owadożernych spokrewnionych np. z ryjówką, odkryli biolodzy z Katedry Badania R ... PE na finiszu prac ws. wywołującego emocje prawa dotyczącego internetuCzy serwisy internetowe powinny weryfikować, co zamieszczają ich użytkownicy? Gdzie powinna kończyć się kontrola? Czy trzeba bardziej chronić twórców? - na te pytania będą musieli sobie odpowiedzieć europosłowie przed przyszłotygodniowym głosowaniem ws. praw autorskich. Zaproponowana jesienią 2016 r. przez Komisję Europejską reforma przepisów o prawie auto ... PE chce wzmocnienia obrony cybernetycznej w UE i jej współpracy z NATOKonieczność zdecydowanej reakcji UE na ataki cybernetyczne Rosji, Chin i Korei Północnej, utworzenie europejskiego zespołu szybkiego reagowania w dziedzinie cybernetycznej i utrzymanie strategicznych więzi UE-NATO - to założenia przyjętych w środę przez PE rezolucji na temat zagrożeń hybrydowych. W rezolucji (476 głosów za, 151 przeciw, 36 wstrzymało się o ... Poczta Polska oraz NCBR będą współpracować przy projekcie auta elektrycznegoPoczta Polska oraz Narodowe Centrum Badań i Rozwoju będą współpracować na rzecz rozwoju elektromobilności w Polsce. Jednym z efektów ma być opracowanie projektu auta elektrycznego przeznaczonego na potrzeby narodowego operatora pocztowego. List intencyjny w tej sprawie został podpisany przez przedstawicieli obu podmiotów w czwartek podczas kongresu Impact' ... COI: Działają serwisy e-PUAP, cepik.gov.pl, pz.gov.pl i obywatel.gov.plWe wtorek po południu zaczęły działać serwisy: e-PUAP, pz.gov.pl, cepik.gov.pl, obywatel.gov.pl - powiedział rzecznik prasowy Centralnego Ośrodka Informatyki Igor Ryciak. Państwowe serwisy, w wyniku awarii, przestały działać we wtorek ok. godz. 8 rano. "Przyczyną awarii była niestabilność działania jednego z komponentów systemu, przyczyny niestabilności bę ... Oznacza to, że nie można korzystać z takich serwisów jak e-puap czy obywatel.gov.pl. - poinformował PAP Karol Many z biura prasowego resortu cyfryzacji. Fot. PixabayMinisterstwo Cyfryzacji: mamy od rana awarię Systemu Rejestrów PaństwowychMamy awarię Systemu Rejestrów Państwowych; oznacza to, że nie można korzystać z takich serwisów jak e-puap czy obywatel.gov.pl. - poinformował PAP Karol Many z biura prasowego resortu cyfryzacji. W Centralnym Ośrodku Informatyki powołany został sztab kryzysowy. "Awaria objawia się m.in. tym, że nie można obecnie korzystać np. z e-PUAPu, obywatela.gov.pl" - ... Naukowcy badają mechanizmy rozprzestrzeniania się wirusa ASFZależności pomiędzy strukturą populacji dzika, mobilnością tego gatunku oraz wysoką zjadliwością wirusa ASF mogą wpływać na wolne tempo rozprzestrzeniania się tej choroby w środowisku naturalnym - wynika z badań specjalistów z Instytutu Biologii Ssaków PAN w Białowieży i Państwowego Instytutu Weterynarii w Puławach. Naukowcy badają, jak rozprzestrzeniał si ... Zrobiliśmy za mało, by chronić użytkowników Facebooka - powiedział w Parlamencie Europejskim w Brukseli szef Facebooka Mark Zuckerberg. Fot.PAP/EPA/STEPHANIE LECOCQZuckerberg: za słabo chroniliśmy użytkowników Facebooka; jest mi przykroZrobiliśmy za mało, by chronić użytkowników Facebooka - powiedział w Parlamencie Europejskim w Brukseli szef Facebooka Mark Zuckerberg. Jak dodał, ponosi za to odpowiedzialność i jest mu przykro. Otwierając wysłuchanie, przewodniczący PE Antonio Tajani zaznaczył, że odbywa się ono w konkretnym kontekście politycznym. "W przyszłym roku 450 mln Europejczyków ...
1234567
Ważne: nasze strony wykorzystują pliki cookies.

Używamy informacji zapisanych za pomocą cookies i podobnych technologii m.in. w celach reklamowych i statystycznych oraz w celu dostosowania naszych serwisów do indywidualnych potrzeb użytkowników. Mogą też stosować je współpracujący z nami reklamodawcy, firmy badawcze oraz dostawcy aplikacji multimedialnych. W programie służącym do obsługi internetu można zmienić ustawienia dotyczące cookies. Korzystanie z naszych serwisów internetowych bez zmiany ustawień dotyczących cookies oznacza, że będą one zapisane w pamięci urządzenia. Więcej informacji można znaleźć w naszej Polityce prywatności

Zamieszczone na stronach internetowych www.radiopik.pl materiały sygnowane skrótem „PAP” stanowią element Serwisów Informacyjnych PAP, będących bazą danych, których producentem i wydawcą jest Polska Agencja Prasowa S.A. z siedzibą w Warszawie. Chronione są one przepisami ustawy z dnia 4 lutego 1994 r. o prawie autorskim i prawach pokrewnych oraz ustawy z dnia 27 lipca 2001 r. o ochronie baz danych. Powyższe materiały wykorzystywane są przez Polskie Radio Regionalną Rozgłośnię w Bydgoszczy „Polskie Radio Pomorza i Kujaw” S.A. na podstawie stosownej umowy licencyjnej. Jakiekolwiek wykorzystywanie przedmiotowych materiałów przez użytkowników Portalu, poza przewidzianymi przez przepisy prawa wyjątkami, w szczególności dozwolonym użytkiem osobistym, jest zabronione. PAP S.A. zastrzega, iż dalsze rozpowszechnianie materiałów, o których mowa w art. 25 ust. 1 pkt. b) ustawy o prawie autorskim i prawach pokrewnych, jest zabronione.

Rozumiem i wchodzę na stronę