3. システム管理¶
3.1. HDFSの管理¶
(1)HDFSの状態をGUIで確認する
HDFSの状態をGUIで確認することができます。Hadoopの起動後、 WEBブラウザにてHDFSの管理画面（http://SPARK1:50070）にアクセスすると 以下のようにHDFSの状態が表示されます。
管理画面ではHDFSの使用率や生存しているノード、HDFSのファイル名などを確認することができます。 HadoopのWeb Interfaceに関する紹介 も参照して下さい。
(2)HDFSの状態をCUIで確認する
以下のコマンドにより、HDFSの状態をターミナル上で確認することができます。
$ hadoop fsck /
FSCK started by griddata (auth:SIMPLE) from /xxx.xxx.xxx.xxx for path / at ddd mm dd hh:mm:ss z yyyy
Status: HEALTHY
Total size: 0 B
Total dirs: 8
Total files: 0
Total blocks (validated): 0
Minimally replicated blocks: 0
Over-replicated blocks: 0
Under-replicated blocks: 0
Mis-replicated blocks: 0
Default replication factor: 3
Average block replication: 0.0
Corrupt blocks: 0
Missing replicas: 0
Number of data-nodes: 0
Number of racks: 0
FSCK ended at ddd mm dd hh:mm:ss z yyyy in 3 milliseconds
The filesystem under path '/' is HEALTHY
なお、状態を確認した結果、HDFS上に破損したファイルがある場合は、 以下のコマンドを実行し、破損したファイルを削除します。
(1)HDFS上の破損ファイルを/lost+foundディレクトリーへ移動します。
$ hadoop fsck <破損ファイルパス> -move
(2)HDFS上の破損ファイルを削除します。
$ hadoop fsck <破損ファイルパス> -delete
3.2. Sparkの管理¶
(1)Sparkの状態をGUIで確認する
Sparkの状態をGUIで確認することができます。Sparkの起動後、 WEBブラウザにてSparkの管理画面（http://SPARK1:8090）にアクセスすると、 以下のようにSparkの状態が表示されます。
管理画面ではジョブの実行状態や履歴などを確認することができます。 詳しくは Apache Sparkのページ を参照して下さい。
3.3. GridDBの管理¶
GridData Lakeでは、GridDBの管理用GUIやCUIを搭載していません。 GridDBを管理する場合は、GridDBにバンドルされた、 管理用のGUI（gs_admin）またはコマンドインタプリタ（gs_sh）を使用してください。
3.4. ログの確認¶
問題が発生した状況に応じ、それぞれ以下のログを参照してください。
■ Fluentdサーバのログ
/home/griddata/lake/logs/fluentd-server.log
■ Embulkサーバのログ
/home/griddata/lake/logs/embulk-server.log
■ SparkやHDFSに問題が発生した場合
SparkやHadoop、およびZooKeeperのログをそれぞれ参照してください。 各ログの名前と場所は以下の通りです。
| 分類 | ログ名 |
|---|---|
| Sparkのログ | /home/griddata/griddata-core/spark/log/*.log |
| Hadoopのログ(マスター・ノードのNameNodeのログ) | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-namenode-HOST_NAME.log |
| Hadoopのログ（マスター・ノードのSecondaryNameNodeのログ） | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-secondarynamenode-HOST_NAME.log |
| Hadoopのログ（スレーブ・ノードのDataNodeのログ） | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-datanode-HOST_NAME.log |
| ZooKeeperのログ | /home/griddata/griddata-core/zookeeper/logs/*.log |