BH12.12/ConvRDF
提供:TogoWiki
(版間での差分)
(→巨大なRDF/XMLファイルをN-Triplesに変換するツール) |
(→巨大なRDF/XMLファイルをN-Triplesに変換するツール) |
||
9行: | 9行: | ||
本ツールを使い、86億トリプルある[ftp://ftp.uniprot.org/pub/databases/uniprot/current_release/rdf/README UniProt RDF Distribution]のuniprot.rdf.gzを変換できました。 | 本ツールを使い、86億トリプルある[ftp://ftp.uniprot.org/pub/databases/uniprot/current_release/rdf/README UniProt RDF Distribution]のuniprot.rdf.gzを変換できました。 | ||
+ | |||
+ | ==== BH16.12での更新 ==== | ||
+ | |||
+ | それまでのRDF/XML形式にくわえ、Turtle形式の入力にも対応。また、実行形式jarファイルの配布。 | ||
---- | ---- |
2016年12月16日 (金) 01:43時点における最新版
ConvRDF
巨大なRDF/XMLファイルをN-Triplesに変換するツール
10億トリプルレベルのRDF/XMLファイルをN-Triplesに変換したい時に、既存のrapperなどのツールではメモリーが溢れて実用に堪えません。 そこで、XMLをパーズしながら結果を出力するApache JenaのPipedRDFStreamクラスを利用し、メモリ使用量が最小限で、入力ファイルのトリプル数に依存しない変換ツールを作りました。
本ツールを使い、86億トリプルあるUniProt RDF Distributionのuniprot.rdf.gzを変換できました。
BH16.12での更新
それまでのRDF/XML形式にくわえ、Turtle形式の入力にも対応。また、実行形式jarファイルの配布。