HDT

提供：TogoWiki

以下に示された理由により、このページの編集を行うことができません：

このページのソースを閲覧し、コピーすることができます：

== C++ ツール群インストール == * [https://github.com/rdfhdt/hdt-cpp HDT C++ Library and Tools]からソースをダウンロード * 前提 RDF ツール/ライブラリ群(なくても使えるが性能が落ちる) ** Raptor: RDF parser library ** Serd: Turtle & NTriple の高速reader/writer * 普通入ってると思いますが，なければ入れる: ** zlib * ツールコンパイル <pre> cd hdt-lib make </pre> hdt-lib/tools にツール群が生成される == Allie のデータを用いてツール群調査 (at SPARQLthon39 by atsuko)== 入っているのは下記5つのツール: * rdf2hdt * hdt2rdf * hdtInfo * replaceHeader * hdtSearch テスト用データ * allie_clusters.nt (14111209トリプル) 利用マシン * Mac OS Yosemite * CPU 1.7 GHz * Mem 8GB それぞれのツールについて調査 ([https://github.com/rdfhdt/hdt-java Java パッケージ]と性能比較) === rdf2hdt === 概要: nt, ttl, rdf/xml -> hdt のツール．オプション -f で入力フォーマットを指定し，オプション -i でサーチ用インデックスファイル(*.hdt.index)をHDTファイル(*.hdt)と同時に作成する． * コマンド % rdf2hdt (オプション) 入力RDFファイル名 出力HDTファイル名 * 性能評価 C++版: 使用メモリは最大約1GB, 計算時間 約 2分半 <pre> $ time tools/rdf2hdt data/allie_clusters.nt data/allie_clusters.hdt HDT Successfully generated. Total processing time: Clock(2 min 37 sec 864 ms 550 us) User(2 min 31 sec 510 ms 721 us) System(3 sec 985 ms 63 us) real 2m37.927s user 2m31.516s sys 0m4.037s </pre> Java版: オプション -Xmx1g -XX:-XX:-UseGCOverheadLimit -> 6200000 トリプル読み込んで20分進まなかったので強制終了 Java版: オプション -Xmx2g -XX:-XX:-UseGCOverheadLimit -> 14100000 トリプル読み込んで20分進まなかったので強制終了 Java版: オプション -Xmx3g -XX:-XX:-UseGCOverheadLimit, 計算時間 約3分半 <pre> $time bin/rdf2hdt.sh data/allie_clusters.nt data/allie_clusters.hdt Converting data/allie_clusters.nt to data/allie_clusters.hdt as null File converted in: 3 min 34 sec 126 ms 233 us Total Triples: 14111209 Different subjects: 3727639 Different predicates: 25 Different objects: 7156435 Common Subject/Object:1863841 HDT saved to file in: 578 ms 165 us real 3m35.201s user 9m13.621s sys 0m5.926s </pre> === hdtSearch === 概要: hdtファイルにトリプルパターンで検索をかけるツール． * コマンド % hdtSeach HDTファイル名 HDTファイルと同じディレクトリにインデックスファイル(*.hdt.index)がない場合，初回に自動的に作成する． C++版(7秒) <pre> % /tools/hdtSearch data/allie_clusters.hdt Predicate Bitmap in 319 ms 810 us 14.86 % Count predicates in 1 sec 525 ms 491 us2 % / 34.235 % Count Objects in 499 ms 940 us Max was: 1863802.551 % Bitmap in 99 ms 992 us: 97.814 % / 48.413 % Bitmap bits: 14111209 Ones: 7156435 Object references in 2 sec 860 ms 420 us/ 68.164 % Sort lists in 2 sec 271 ms 688 us% / 90.998 % Index generated in 7 sec 577 ms 539 us >> </pre> Java版(14秒) <pre> $ bin/hdtSearch.sh data/allie_clusters.hdt Could not read .hdt.index, Generating a new one. Predicate Bitmap in 348 ms 370 us Count predicates in 11 sec 124 ms 743 us Count Objects in 478 ms 500 us Max was: 1863802 Bitmap in 80 ms 378 us Object references in 12 sec 721 ms 437 us Sort object sublists in 1 sec 406 ms 434 us Count predicates in 304 ms 796 us Index generated in 14 sec 992 ms 2 us </pre> * 性能評価 C++版 <pre> >> ? ? http://purl.org/allie/id/pair/1781818 _:_:ClusterMembers100003 http://purl.org/allie/ontology/201108#hasMemberOf http://purl.org/allie/id/pair/1781818 1 results in 969 us >> ? ? http://purl.org/allie/id/pair/2395948 _:_:ClusterMembers1000088 http://purl.org/allie/ontology/201108#hasMemberOf http://purl.org/allie/id/pair/2395948 1 results in 1 ms 467 us </pre> Java版 <pre> >> ? ? http://purl.org/allie/id/pair/1781818 Query: |?| |?| |http://purl.org/allie/id/pair/1781818| _:_:ClusterMembers100003 http://purl.org/allie/ontology/201108#hasMemberOf http://purl.org/allie/id/pair/1781818 Iterated 1 triples in 9 ms 926 us >> ? ? http://purl.org/allie/id/pair/2395948 Query: |?| |?| |http://purl.org/allie/id/pair/2395948| _:_:ClusterMembers1000088 http://purl.org/allie/ontology/201108#hasMemberOf http://purl.org/allie/id/pair/2395948 Iterated 1 triples in 575 us </pre>

HDTに戻る。