SPARQLthon18/DDBJ

提供:TogoWiki

2014年3月6日 (木) 05:09時点におけるYokookbp (トーク | 投稿記録)による版
(差分) ←前の版 | 最新版 (差分) | 次の版→ (差分)
移動: 案内, 検索

エンドポイント構築

DDBJエントリーのRDFをトリプルストアにロードする。トリプル数は97億。
過去のページ
SPARQLthon10
SPARQLthon15
SPARQLthon16
SPARQLthon17

安定的ロードの検証

スパコンの中間増強でmediumノードが負荷の少ない状態で使用できたため、この環境で試した。
Virtuosoは7.1を使用。

ロード作業内容(ケース1)

  • 1回目
工程 所要時間 備考
ロード(Taxonomy) 3分
ロード(DDBJ) 22時間28分
チェックポイント 4時間32分
再起動 0時間10分
テキストインデックス 2時間34分
ロード計 29時間47分
  • 2回目
工程 所要時間 備考
ロード(Taxonomy) 失敗 ロードが途中で止まる。log_enable(3,1)を指定しても解消されず、以下はこのロードを飛ばして計測
ロード(DDBJ) 22時間13分
チェックポイント 4時間19分
再起動 11分
テキストインデックス 3時間10分
ロード計 29時間53分
  • 3回目
工程 所要時間 備考
ロード(Taxonomy) 失敗 ロードが途中で止まる。log_enable(3,1)を指定しても解消されず、以下はこのロードを飛ばして計測
ロード(DDBJ) 22時間02分
チェックポイント 4時間37分
再起動 0時間12分
テキストインデックス 3時間10分
ロード計 30時間01分
/mw/SPARQLthon18/DDBJ」より作成