duży kontrast mapa strony
Strona startowa » Nauka i technologie »

Wyszukiwarka Nekst uporządkuje polski internet

Polska Agencja Prasowa / Ludwika Tomala

Szacuje się, że w polskim internecie jest teraz około miliarda polskojęzycznych dokumentów. Dane te porządkują i analizują twórcy polskiej semantycznej wyszukiwarki internetowej Nekst. System pozwolić ma na precyzyjniejsze przeszukiwanie polskich tekstów.
Nad wyszukiwarką pracuje zespół z Instytutu Podstaw Informatyki PAN w Warszawie, a także z Politechniki Wrocławskiej. Badacze chcą do czerwca tego roku zeskanować w sumie 500 mln dokumentów (tekstów - m.in. artykułów czy plików pdf), a więc połowę polskiego internetu. Wtedy też Nekst ma być udostępniony użytkownikom. Z czasem badacze chcą zeskanować i na bieżąco aktualizować dane o wszystkich polskich tekstach w internecie.

"Nawet Google czy Yahoo, przy całej swojej potędze, prawdopodobnie nie mają zebranego całego polskiego internetu" - przyznaje kierownik projektu, prof. Jacek Koronacki, dyrektor IPI PAN. Szacuje, że wyszukiwarki te gromadzić mogą np. tylko co piąty dokument po polsku.

Na razie twórcom polskiej wyszukiwarki udało się zebrać 160 mln polskojęzycznych dokumentów, a więc ok. 16 proc. polskiego internetu. Jak zaznacza w rozmowie z PAP jeden z twórców wyszukiwarki, dr Dariusz Czerski z IPI PAN, problem nie leży w przechowaniu na serwerach instytutu surowych tekstów. Skompresowane zajmują one ok. 3 terabajtów, czyli zmieściłyby się na trzech niedużych przenośnych dyskach twardych. Jednak teksty te należy na bieżąco opisywać i uporządkować, aby można je było przetwarzać dla potrzeb wyszukiwania.

Polska wyszukiwarka będzie działała według całkiem innych algorytmów niż największe wyszukiwarki międzynarodowe. "Te wyszukiwarki nie mają mechanizmów, które naśladowałyby rozumienie języka" - opowiada prof. Koronacki i podkreśla, że Nekst będzie pierwszą w Europie tak dużą wyszukiwarką semantyczną dla narodowego języka.

Nekst nie będzie wyszukiwała na stronie jedynie ciągu znaków - słów kluczowych, ale raczej analizować będzie gromadzone teksty pod kątem najczęściej pojawiających się w nich istotniejszych słów i wyrażeń wielosłownych (np. fraz rzeczownikowych). Dzięki temu wyszukiwarka może "wywnioskować", o czym jest dany tekst i jak najskuteczniej go zaklasyfikować. "Musimy umieć budować mechanizmy rozumienia języka, które zdecydowanie różnią się od inżynierii dla języka angielskiego. Musimy zwłaszcza umieć uwzględniać fleksję i swobodny szyk zdania" - wyjaśnia prof. Koronacki.

I tak przykładowo, jeśli internauta zapyta o opony, Nekst ujednoznaczni zapytanie i dopyta, czy chodzi o opony samochodowe (bo może też chodzić opony mózgowe). Pokaże szukającemu linki także do stron, w których nie ma frazy „opony samochodowe”, ale występuje rdzeń słowa "opony" i pojawiają się inne słowa, które wskażą, że strona rzeczywiście poświęcona jest motoryzacji.

Pytania zadawane wyszukiwarce mogą być zamawiane w języku naturalnym, a więc będą bardziej podobne do pytań zadawanych człowiekowi. Jej twórcy chcą też, by Nekst podawała nie tylko linki do stron, ale również wskazywała interesujący osobę zadającą pytanie fragment strony. Jeśli zapytamy, w którym roku zmarł Kazimierz Wielki, powinna ona wskazać w dokumentach zdania zawierające odpowiedź - np. "Kazimierz Wielki zmarł w 1370 r".

Naukowcy pracują też nad tym, by ich system potrafił analizować wydźwięk emocjonalny danej wypowiedzi. Mechanizm będzie umiał rozpoznać, czy o danym zjawisku, firmie czy osobie mówi się w pozytywny czy w negatywny sposób. Uczestnicy projektu Nekst chcą też, by ich system w przyszłości usprawnił wykrywanie plagiatów.

W ramach projektu trwają też prace nad analizą obrazów - wyszukiwarka w dokumentach będzie mogła po pewnego stopnia rozpoznawać, co jest na ilustracjach. (PAP)

Abonament

Nauka i technologie

Tomografy optyczne tworzone na UMK pomogą w rozwoju okulistykiNowa generacja tomografów optycznych, którą stworzyli naukowcy z Wydziału Fizyki, Astronomii i Informatyki Stosowanej UMK w Toruniu, pozwoli na rozwój okulistyki. Czułość i dokładność tych urządzeń może być pomocna m.in. w trakcie badań przed operacjami zaćmy. Badania na UMK prowadzi grupa kierowana przez dr. hab. Ireneusza Grulkowskiego. W rozmowie z PAP ... Polski programista w zespole, który wystrzelił najpotężniejszą rakietę na świeciePolski programista Tomasz Czajka pracował na systemami sterowania firmy SpaceX, która wystrzeliła we wtorek w kosmos najpotężniejszą na świecie rakietę - Falcon Heavy - informuje na swojej stronie internetowej Polskie Towarzystwo Informatyczne. Wystrzelona przez SpaceX rakieta Falcon Heavy wystartowała z kosmodromu na przylądku Canaveral na Florydzie we wt ... PAP/EPA/CRISTOBAL HERRERAWystrzelono w kosmos najpotężniejszą na świecie rakietę Falcon HeavyNajpotężniejsza na świecie rakieta Falcon Heavy prywatnej amerykańskiej firmy SpaceX pierwszy raz w historii wystartowała z powodzeniem we wtorek z kosmodromu na przylądku Canaveral na Florydzie. Na pokładzie maszyny jest sportowy samochód firmy Tesla. Dwa stopnie wspomagające po odłączeniu się od rakiety wylądowały - jak zaplanowano - z powrotem na przylą ... YouTube przeprosił za błędy w tłumaczeniu wystąpienia premiera Morawieckiego ws. noweli o IPNSerwis YouTube przeprosił za błędy w tłumaczeniu telewizyjnego wystąpienia premiera Mateusza Mazowieckiego na temat nowelizacji ustawy o IPN, które zmieniły sens jego wypowiedzi. Premier wygłosił w czwartek telewizyjne oświadczenie, w którym mówił m.in., że Polska była pierwszą ofiarą III Rzeszy. Jak podkreślał śmierć i cierpienie w niemieckich nazistowski ... Psycholog: smartfon w szkole ma negatywny wpływ na zdolności poznawcze uczniówKorzystanie ze smartfonów przez uczniów w szkołach źle wpływa na zdolności poznawcze. Dzieci korzystające podczas lekcji z telefonów komórkowych mają gorsze wyniki w nauce – mówi PAP psycholog Joanna Paszkowska-Rogacz z Instytutu Psychologii Uniwersytetu Łódzkiego. Powołując się na doświadczenia z innych krajów, m.in. w Francji czy Wielkiej Brytanii - eksp ... Politechnika Rzeszowska buduje motoszybowiec z napędem wodorowymMotoszybowiec z napędem wodorowym powstaje na Politechnice Rzeszowskiej. To kolejny etap prowadzonych od kilku lat badań nad alternatywnymi źródłami energii dla lotnictwa. Do pierwszego samodzielnego lotu motoszybowiec ma być gotowy do końca 2018 roku. W kadłubie motoszybowca AOS-H2 znajdą się butle z wodorem i ogniwo paliwowe wodorowe, które wytworzy prąd ... Prezydent: elektromobilność to skuteczna metoda walki ze smogiemSamochody elektryczne oznaczają brak emisji, jeżeli przejdziemy na elektromobilność będziemy w stanie zapewnić czystsze powietrze - podkreślił prezydent Andrzej Duda. Jego zdaniem, na tym polu możemy też skutecznie konkurować z Zachodem. Prezydent Andrzej Duda wziął w środę udział w konferencji pt. "Technologie przyszłości. Elektromobilność". Duda zazna ... Wystawa ma wspomagać nauczanie fizyki w szkołach, a także rozwijać wśród młodzieży logiczne myślenie oraz umiejętność pracy w grupie. Fot. iwona Muszytowska-RzeszotekPowraca wystawa "Kalejdoskop" w Młynie Wiedzy w ToruniuWystawa "Kalejdoskop" ponownie otwarta w Centrum Nowoczesności Młyn Wiedzy w Toruniu. Instytucja przygotowała także towarzyszącą ekspozycji ścieżkę zwiedzania dla dzieci i młodzieży - na 30 stanowiskach prezentowane będą elementy optyki geometrycznej. "Ekspozycja wraca do naszego centrum po dwóch latach, co jest odpowiedzią na liczne prośby nauczycieli. Pa ... Nadciąga Noc Biologów: 12 stycznia atrakcje w ok. 30 ośrodkachPiątek 12 stycznia to data, której nie powinien przegapić żaden miłośnik biologii. Ok. 30 jednostek akademickich w kraju przygotowuje wtedy moc atrakcji z okazji Nocy Biologów. W planach są prelekcje, wycieczki i pokazy. Na część zajęć obowiązują rezerwacje. Szczecin, Zielona Góra, Poznań, Opole, Katowice, Kraków, Rzeszów, Lublin, Bydgoszcz, Toruń, Poznań, ... Hyundai do 2021 r. ma zacząć sprzedawać samochody autonomiczneKoreański koncern motoryzacyjny Hyundai Motor we współpracy z amerykańskim start-upem Aurora Innovation do 2021 r. zacznie sprzedawać pierwsze auta poruszające się bez kierowcy - poinformowała w czwartek agencja Kyodo. Jak wskazano, w ciągu trzech lat Hyundai and Aurora wprowadzą na rynek samochody, które będą mogły "jeździć bez kierowcy w większości warun ...
1234567
Ważne: nasze strony wykorzystują pliki cookies.

Używamy informacji zapisanych za pomocą cookies i podobnych technologii m.in. w celach reklamowych i statystycznych oraz w celu dostosowania naszych serwisów do indywidualnych potrzeb użytkowników. Mogą też stosować je współpracujący z nami reklamodawcy, firmy badawcze oraz dostawcy aplikacji multimedialnych. W programie służącym do obsługi internetu można zmienić ustawienia dotyczące cookies. Korzystanie z naszych serwisów internetowych bez zmiany ustawień dotyczących cookies oznacza, że będą one zapisane w pamięci urządzenia. Więcej informacji można znaleźć w naszej Polityce prywatności

Zamieszczone na stronach internetowych www.radiopik.pl materiały sygnowane skrótem „PAP” stanowią element Serwisów Informacyjnych PAP, będących bazą danych, których producentem i wydawcą jest Polska Agencja Prasowa S.A. z siedzibą w Warszawie. Chronione są one przepisami ustawy z dnia 4 lutego 1994 r. o prawie autorskim i prawach pokrewnych oraz ustawy z dnia 27 lipca 2001 r. o ochronie baz danych. Powyższe materiały wykorzystywane są przez Polskie Radio Regionalną Rozgłośnię w Bydgoszczy „Polskie Radio Pomorza i Kujaw” S.A. na podstawie stosownej umowy licencyjnej. Jakiekolwiek wykorzystywanie przedmiotowych materiałów przez użytkowników Portalu, poza przewidzianymi przez przepisy prawa wyjątkami, w szczególności dozwolonym użytkiem osobistym, jest zabronione. PAP S.A. zastrzega, iż dalsze rozpowszechnianie materiałów, o których mowa w art. 25 ust. 1 pkt. b) ustawy o prawie autorskim i prawach pokrewnych, jest zabronione.

Rozumiem i wchodzę na stronę