4. システム管理¶
4.1. HDFSの管理¶
(1)HDFSの状態をGUIで確認する
HDFSの状態をGUIで確認することができます。Hadoopの起動後、 WEBブラウザにてHDFSの管理画面（http://SERVER1:50070）にアクセスすると 以下のようにHDFSの状態が表示されます。
管理画面ではHDFSの使用率や生存しているノード、HDFSのファイル名などを確認することができます。 HadoopのWeb Interfaceに関する紹介 も参照して下さい。
(2)HDFSの状態をCUIで確認する
以下のコマンドにより、HDFSの状態をターミナル上で確認することができます。
$ hadoop fsck /
FSCK started by griddata (auth:SIMPLE) from /xxx.xxx.xxx.xxx for path / at ddd mm dd hh:mm:ss z yyyy
Status: HEALTHY
Total size: 0 B
Total dirs: 8
Total files: 0
Total blocks (validated): 0
Minimally replicated blocks: 0
Over-replicated blocks: 0
Under-replicated blocks: 0
Mis-replicated blocks: 0
Default replication factor: 3
Average block replication: 0.0
Corrupt blocks: 0
Missing replicas: 0
Number of data-nodes: 0
Number of racks: 0
FSCK ended at ddd mm dd hh:mm:ss z yyyy in 3 milliseconds
The filesystem under path '/' is HEALTHY
なお、状態を確認した結果、HDFS上に破損したファイルがある場合は、 以下のコマンドを実行し、破損したファイルを削除します。
(1)HDFS上の破損ファイルを/lost+foundディレクトリーへ移動します。
$ hadoop fsck <破損ファイルパス> -move
(2)HDFS上の破損ファイルを削除します。
$ hadoop fsck <破損ファイルパス> -delete
4.2. Sparkの管理¶
(1)Sparkの状態をGUIで確認する
Sparkの状態をGUIで確認することができます。Sparkの起動後、 WEBブラウザにてSparkの管理画面（http://SERVER1:8090）にアクセスすると 以下のようにSparkの状態が表示されます。
管理画面ではジョブの実行状態や履歴などを確認することができます。 詳しくは Apache Sparkのページ を参照して下さい。
4.3. ログの確認¶
問題が発生した状況に応じ、それぞれ以下のログを参照してください。
GridData Analyticsのインストールに問題が発生した場合はインストール時のログを、 運用中にSparkやHDFS以外で問題が起きた場合はGridData Analyticsのログを、 運用中、SparkやHDFSに問題が発生した場合はSparkやHadoop、およびZooKeeperのログを参照してください。
■ GridData Analyticsのインストールに問題が発生した場合
インストール時のログを参照してください。 インストール用スクリプト(setup.sh,setup_scaleserver.sh)でインストールを行った場合、 ログファイルはスクリプトと同じ場所に作成されます。ログ名はそれぞれ以下の通りです。
| スクリプト名 | ログ名 |
|---|---|
| setup.sh | setup.log |
| setup_scaleserver.sh | setup_scaleserver.log |
■ 運用中にSparkやHDFS以外で問題が起きた場合
GridData Analyticsのログを参照してください。ログ名は以下の通りです。
/home/griddata/analytics/.jupyter/jupyter.log
■ 運用中、SparkやHDFSに問題が発生した場合
SparkやHadoop、およびZooKeeperのログをそれぞれ参照してください。 各ログ名はそれぞれ以下の通りです。
| 分類 | ログ名 |
|---|---|
| Sparkのログ | /home/griddata/griddata-core/spark/log/*.log |
| Hadoopのログ(マスター・ノードのNameNodeのログ) | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-namenode-HOST_NAME.log |
| Hadoopのログ（マスター・ノードのSecondaryNameNodeのログ） | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-secondarynamenode-HOST_NAME.log |
| Hadoopのログ（スレーブ・ノードのDataNodeのログ） | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-datanode-HOST_NAME.log |
| ZooKeeperのログ | /home/griddata/griddata-core/zookeeper/logs/*.log |