SPARQLthon18/DDBJ
提供：TogoWiki
（版間での差分）
(→ロード作業内容(ケース2)) |
(→ロード作業内容(ケース3)) |
||
| 45行： | 45行： | ||
|} | |} | ||
| - | + | *3回目 | |
{| border="1" cellpadding="5" cellspacing="0" | {| border="1" cellpadding="5" cellspacing="0" | ||
! 工程 !! 所要時間 !! 備考 | ! 工程 !! 所要時間 !! 備考 | ||
2014年3月6日 (木) 05:09時点における最新版
エンドポイント構築
DDBJエントリーのRDFをトリプルストアにロードする。トリプル数は97億。
過去のページ
SPARQLthon10
SPARQLthon15
SPARQLthon16
SPARQLthon17
安定的ロードの検証
スパコンの中間増強でmediumノードが負荷の少ない状態で使用できたため、この環境で試した。
Virtuosoは7.1を使用。
ロード作業内容(ケース1)
- 1回目
| 工程 | 所要時間 | 備考 |
|---|---|---|
| ロード(Taxonomy) | 3分 | |
| ロード(DDBJ) | 22時間28分 | |
| チェックポイント | 4時間32分 | |
| 再起動 | 0時間10分 | |
| テキストインデックス | 2時間34分 | |
| ロード計 | 29時間47分 |
- 2回目
| 工程 | 所要時間 | 備考 |
|---|---|---|
| ロード(Taxonomy) | 失敗 | ロードが途中で止まる。log_enable(3,1)を指定しても解消されず、以下はこのロードを飛ばして計測 |
| ロード(DDBJ) | 22時間13分 | |
| チェックポイント | 4時間19分 | |
| 再起動 | 11分 | |
| テキストインデックス | 3時間10分 | |
| ロード計 | 29時間53分 |
- 3回目
| 工程 | 所要時間 | 備考 |
|---|---|---|
| ロード(Taxonomy) | 失敗 | ロードが途中で止まる。log_enable(3,1)を指定しても解消されず、以下はこのロードを飛ばして計測 |
| ロード(DDBJ) | 22時間02分 | |
| チェックポイント | 4時間37分 | |
| 再起動 | 0時間12分 | |
| テキストインデックス | 3時間10分 | |
| ロード計 | 30時間01分 |
