BH12.12/ConvRDF

提供:TogoWiki

2016年12月16日 (金) 01:43時点におけるYayamamo (トーク | 投稿記録)による版
(差分) ←前の版 | 最新版 (差分) | 次の版→ (差分)
移動: 案内, 検索

ConvRDF

巨大なRDF/XMLファイルをN-Triplesに変換するツール

10億トリプルレベルのRDF/XMLファイルをN-Triplesに変換したい時に、既存のrapperなどのツールではメモリーが溢れて実用に堪えません。 そこで、XMLをパーズしながら結果を出力するApache JenaのPipedRDFStreamクラスを利用し、メモリ使用量が最小限で、入力ファイルのトリプル数に依存しない変換ツールを作りました。

本ツールを使い、86億トリプルあるUniProt RDF Distributionのuniprot.rdf.gzを変換できました。

BH16.12での更新

それまでのRDF/XML形式にくわえ、Turtle形式の入力にも対応。また、実行形式jarファイルの配布。


BH12.12/SPARQLthon13

個人用ツール