SPARQLthon18/DDBJ

提供:TogoWiki

(版間での差分)
移動: 案内, 検索
(ロード作業内容(ケース2))
(ロード作業内容(ケース3))
 
45行: 45行:
|}
|}
-
==ロード作業内容(ケース3)==
+
*3回目
{| border="1" cellpadding="5" cellspacing="0"
{| border="1" cellpadding="5" cellspacing="0"
! 工程 !! 所要時間 !! 備考
! 工程 !! 所要時間 !! 備考

2014年3月6日 (木) 05:09時点における最新版

エンドポイント構築

DDBJエントリーのRDFをトリプルストアにロードする。トリプル数は97億。
過去のページ
SPARQLthon10
SPARQLthon15
SPARQLthon16
SPARQLthon17

安定的ロードの検証

スパコンの中間増強でmediumノードが負荷の少ない状態で使用できたため、この環境で試した。
Virtuosoは7.1を使用。

ロード作業内容(ケース1)

  • 1回目
工程 所要時間 備考
ロード(Taxonomy) 3分
ロード(DDBJ) 22時間28分
チェックポイント 4時間32分
再起動 0時間10分
テキストインデックス 2時間34分
ロード計 29時間47分
  • 2回目
工程 所要時間 備考
ロード(Taxonomy) 失敗 ロードが途中で止まる。log_enable(3,1)を指定しても解消されず、以下はこのロードを飛ばして計測
ロード(DDBJ) 22時間13分
チェックポイント 4時間19分
再起動 11分
テキストインデックス 3時間10分
ロード計 29時間53分
  • 3回目
工程 所要時間 備考
ロード(Taxonomy) 失敗 ロードが途中で止まる。log_enable(3,1)を指定しても解消されず、以下はこのロードを飛ばして計測
ロード(DDBJ) 22時間02分
チェックポイント 4時間37分
再起動 0時間12分
テキストインデックス 3時間10分
ロード計 30時間01分
/mw/SPARQLthon18/DDBJ」より作成