dLibra w praktyce

dLibra używa parser’a zapytań z Lucene (“a high-performance, full-featured text search engine library written entirely in Java”)… może i mi się kiedyś to przyda…

szkoda, że dLibra nie jest tak samo FLOSS’owa… licencja/wdrożenie kosztuje 1200PLN, a myślałem, że sobie ściągnę i będę na niej ćwiczył rekomendacje na bazie spójności

OAI-PMH

• kryteria selekcji elementów to:
  • przynależność do zbiorów
  • data modyfikacji rekordów
• w odpowiedzi na żądanie Identify otrzymujemy m.in. listę “przyjaznych” repozytoriów – czyli możemy tworzyć sieć FOAF repozytoriów
• narzuca format metadanych (przynajmniej DC), ale nie narzuca formatu danych tj. definiowania zbiorów (np. zakresy tematyczne czy formaty obiektów cyfrowych)

na podstawie

przetestowałem protokół w DBC – całości nie przeczekałem, ale coś się parsuje , choć nie wygląda tak, jak przykładowy dlibra.psnc.pl

tu piękną aktualną listę, a tu metalistę bibliotek dostępnych przez OAI-PMH – teraz można ładne pytania rozproszone zadawać – np. tą ostrygą

okazuje się, że Google akceptuje OAI-PMH jako jeden ze sposobów dostarczenia Sitemaps

foaf z 3 stron

Analyzing Social Networks on the Semantic Web
L Ding, T Finin, A Joshi – IEEE Intelligent Systems (Trends & Controversies), 2004 – ebiquity.umbc.edu

• problemy do rozwiązania, aby korzystać z SN on the SW:
  • Knowledge representation – zdecentralizowane ontologie
  • Knowledge management – geste połączenia na poziomie grafu RDF, rzadkie na poziomie dokumentów RDF
  • Social network extraction, integration and analysis – zaszumiona i niepełna wiedzia, problemy z łączeniem (fuse) i wiarygodnością info
  • Provenance and trust aware distributed inference – jak zmniejszyć złożoność rozproszonego wnioskowania?
• dataset’y:
  • DS-SWOOGLE: 225k valid SWD’ów z 37M rdf’owych trójek (odfiltrowane tylko 10k z jednego site’a)
  • DS-FOAF – ale ponieważ 95% URLi (z 1800 witryn) to “wielkie blogsite’y”, więc rozważany DS-FOAF-VAR tylko z URLami z site’ów o <1k FOAFD (czyli z 1065 witryn): 37k instancji foaf:Person i 4k ’strict’ FOAFD (1-osobowy)
• foaf:Person pojawia się w 17 ontologiach (wg SWOOGLE)
• na foaf:Person można spojrzeć jako na:
  1. definicję ontologiczną w stosunku do jej nad-, pod-klas
  2. jej properties (np. foaf:mbox, foaf:name), które używają jej jako domeny (rdfs:domain)
  3. empiryczną właśność, którą posiadają instancje
• podsumowując autorzy chcieliby połączyć (nałożyć na siebie):
  • sieć FOAF
  • systemy reputacji (np. PageRank)
  • sieć zaufania
  • indeksy współautorstwa (DBLP)

agregator FOAF’ów

How the Semantic Web is Being Used:An Analysis of FOAF Documents

Authors: Li Ding, Lina Zhou, Tim Finin, and Anupam Joshi
Book Title: Proceedings of the 38th International Conference on System Sciences
Date: January 03, 2005

• agregacja FOAF’owych RDF’ów z: blog (1,5 mln) i non-blog sites (5k)
• analiza tylko non-blog, bo blog’owe są tworzone przez automat, a non-blog ręcznie i świadomie >> różne słownictwo i struktury pokazują co powinno być w standardzie
• w 2004.06 FOAF 2-gą co do rozwinięcia (populated – użytą w dokumentach) ontologią; I był RDF, a RSS – VI
• podział na:
  • strict FOAF document (z tylko jedną foaf:Person nie w trójce, czyli nie jako obiekt, np. w foaf:knows)
  • general FOAF document (opisujący wiele osób)
• łączenie osób (fuse) z różnych RDF’ów na podstawie foaf:mbox >> otrzymujemy owl:sameIndividualAs
• wzory połączonych komponentów (CC, czyli podgrafów): star, clique, singleton
• tylko 7% węzłów ma in-links i out-links, a z only-in-links 97,7% są węzłami I rzędu (out-degree = 0)

network czy Web?

Trust networks on the semantic web in Proceedings of cooperative intelligent agents 2003, Golbeck, Jennifer and Bijan Parsia and James Hendler, Helsinki, Finland, August 2003.
Available at http://www.mindswap.org/papers/CIA03.pdf

• sieć zaufania poprzez rozszerzenie foaf:Person o 9-stopniową skalę trust i kontekstu zaufania “trust regarding”
• zaufanie pośrednie przez iloczyn zaufań w ścieżce
• Web service przeliczający zaufanie między 2 mail-adress’ami, a w parametrze funkcja opisująca jak przeliczać zaufanie (własny algorytm przeliczania używający Java’owego API do trust grafu)
• implementacja w IRC bot’cie (“the bot can be queried to provide the weighted average, as well as maximum and minimum path lengths, and maximum and minimum capacity paths”) i Mozzila Messenger’ze (dodatkowa kolumna z trustem przy tematach)

o wykorzystaniu Enron’a…

Dziś przeprowadziłem seminarium w ZSI (info w zakładowym blogu) o możliwości wykorzystania mail’owej bazy Enron do wyznaczenia siły relacji między autorami. Wspomniałem też o FOAF, XFN i Linkback (tu są slajdy). Zbierając materiały znalazłem też kilka mysqldump’ów: by Jafar Adibi, by Ron Bekkerman, @UC Berkeley… może niepotrzebnie się z tym męczyłem… sprawdzę je jeszcze… Znalazłem też 2 komercje zrobione na tym dataset’cie: Enron Explorer jako reklamówka produktu SONAR platform (Social Networks And Relevance) firmy Trampoline Systems i InBoxer Anti-Risk Appliance – AJAX’owa aplikacja do wykrywania potencjalnych zagrożeń wynikających z korespondencji firmowej.

XFN

 Od dłuższego czasu męczyło mnie, że miałem zerknąć na przedostatni link w moim blogu i zainteresować się XFN. No i w końcu to zrobiłem, a dziś dyplomant uświadomił mi, że przecież to podobne do FOAF. No tak, przecież FOAF’em ekscytowałem się przed tygodniem, a teraz już prawie nie pamiętam – tyle innych rzeczy w między czasie…

Nawet nie pamiętałem, że dodając kiedyś w blogroll mój blog dydaktyczny użyłem nieświadomie XFN (przez formularz – patrz obrazek – w sumie wzięty chyba stąd), bo dałem mu rel=”me”.

Po krótkim porównaniu: FOAF od razu “mówi RDF’ami o ludziach (z imienia i nazwiska)”, ale ma tylko pole <knows>. Z kolei XFN mówi o typie relacji, ale relacji między URL’ami, które nie koniecznie muszą być jednoznacznie identyfikowalne z osobą.

patrz też

Dodałem do sidebar‘a znaczek |XFN|Friendly| i dodałem się do rubhub (a lookup engine for determining the relationships between people who author personal websites), może się za kilka dni tam pojawię.  Dodałem się też w końcu do spisów FOAF.

Jestem FOAF’em

Stworzyłem sobie RDF’a przy pomocy FOAF-a-Matic‘a (bo ten coś nie chciał działać) i umieśliłem tu. Dodałem też sobie do index.html linijkę <link rel=”meta” type=”application/rdf+xml” title=”FOAF” href=”foaf.rdf” />. Teraz można mnie oglądać FOAF Explorer‘em. Muszę się jeszcze dodać do wiki’owych spisów ludności: tu i tu. To może będzie mnie można podejrzeć foafnaut‘ą.

I jeszcze wklikałem na ciekawy pomysł: co-depiction

kolega kolegi

Chciałem tylko sprawdzić czy FOAF można również nazwać sieć społeczną, czy tylko węzeł w tej sieci. A tu okazało się, że tu takie rzeczy się dzieją… a raczej działy, bo w 2004. Po pierwsze ktoś sworzył sobie w RDF’ie namespace dla tworzenia sieci foaf, a nawet jest dostępny dataset z 7118 foaf docs (i.e. węzłami, jeśli dobrze rozumiem) – a ja się z jakimś enron‘em męczę … ;P
Znalazłem też ontologię dla WOT (na pewno się przyda) i dataset They Rule z przepięknym flash’owym interfejsem i m.in. możliwością wyszukiwania ścieżek między firmami i ich dyrektorami.

A tu kilka tools dla RDF, m.in. FOAF Explorer i sha1ify (konwertuje mailto: URIs do SHA-1 – tak sobie radzono, jak nie było OpenID )