4. システム管理

注釈

Hadoop、Sparkの管理画面にホスト名でアクセスするために、Webブラウザを利用するマシンにホスト名を登録することを推奨します。

Windowsの場合、C:\Windows\System32\drivers\etc\hostsを編集してホスト名を登録します。

10.0.0.1 SERVER0
10.0.0.2 SERVER1
10.0.0.3 SERVER2
10.0.0.4 SERVER3
10.0.0.5 SERVER4
10.0.0.6 SERVER5
10.0.0.7 SERVER6

4.1. HDFSの管理

(1)HDFSの状態をGUIで確認する

HDFSが起動している状態で、Webブラウザから http://SERVER1:50070 にアクセスすると、HDFSの管理画面が表示されます。

HDFS管理画面

管理画面ではHDFSの使用率やノードの死活情報、HDFS上にあるファイル、ディレクトリーなどを確認することができます。 詳細は Apache Hadoopのページ を参照してください。

(2)HDFSの状態をCUIで確認する

以下のコマンドにより、HDFSの状態をターミナル上で確認することができます。

$ hdfs fsck /
FSCK started by griddata (auth:SIMPLE) from /xxx.xxx.xxx.xxx for path / at ddd mm dd hh:mm:ss z yyyy
Status: HEALTHY
Total size:    0 B
Total dirs:    8
Total files:   0
Total blocks (validated):      0
Minimally replicated blocks:   0
Over-replicated blocks:        0
Under-replicated blocks:       0
Mis-replicated blocks:         0
Default replication factor:    3
Average block replication:     0.0
Corrupt blocks:                0
Missing replicas:              0
Number of data-nodes:          0
Number of racks:               0
FSCK ended at ddd mm dd hh:mm:ss z yyyy in 3 milliseconds

The filesystem under path '/' is HEALTHY

なお、HDFS上に破損したファイルがある場合は、以下のコマンドを実行し、破損したファイルを削除します。

$ hdfs fsck <破損ファイルパス> -move
$ hdfs fsck <破損ファイルパス> -delete

4.2. YARNの管理

(1)YARNの状態をGUIで確認する

YARNの起動後、WEBブラウザにて http://SERVER2:8088 にアクセスすると、YARNの管理画面が表示されます。

YARN管理画面

管理画面ではSparkアプリケーションの実行ステータスや履歴などを確認することができます。 詳細は Apache Sparkのページ を参照してください。

注釈

Sparkアプリケーションの実行ステータスを確認する場合は、Yarnの管理画面からアクセスしてください。

ノートブックからアクセスする場合、エラーとなる場合があります。

4.3. Sparkアプリケーションの実行履歴の管理

Sparkアプリケーションの実行履歴をHistoryServerのGUIで確認する HistoryServerの起動後、WEBブラウザにて http://SERVER1:18080 にアクセスすると、Sparkアプリケーションの実行履歴の画面が表示されます。

HistoryServer画面

HistoryServer画面ではSparkアプリケーションの実行履歴を確認することができます。 詳細は Apache Sparkのページ を参照してください。

注釈

Sparkの履歴をHistoryServerから確認する場合、griddataユーザー以外が実行した履歴はHistoryServerに表示されません。

他のユーザーの実行履歴を表示するには、事前にgriddataユーザーで以下のコマンドを実行してください。

$ hdfs dfs -chmod 777 /var/log/spark/*

4.4. ログの確認

GridData Analyticsのインストールに問題が発生した場合はインストールログを、 運用中、SparkやHDFS以外で問題が起きた場合はGridData Analyticsのログを、 運用中、SparkやHDFSに問題が発生した場合はSparkやHadoop、およびZooKeeperのログを参照してください。

■ GridData Analytics インストールログ

インストールログのファイルは/tmp/tools以下に作成されます。 ファイル名は以下の通りです。

スクリプト名 ログ名
setup_redhat6.sh setup.log
setup_redhat7.sh setup.log
setup_cupy.sh setup_cupy.log
setup_scaleserver.sh setup_scaleserver.log

■ GridData Analyticsのログ

/home/griddata/analytics/.jupyter/jupyter.log

■ SparkやHadoop、ZooKeeperのログ

分類 ログ名
HDFSのログ(マスター・ノードのNameNodeのログ) /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-namenode-HOST_NAME.log
HDFSのログ(スレーブ・ノードのDataNodeのログ) /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-datanode-HOST_NAME.log
YARNのログ(マスター・ノードのResourceManagerのログ) /home/griddata/griddata-core/hadoop/logs/yarn-griddata-resourcemanager-HOST_NAME.log
YARNのログ(スレーブ・ノードのNodeManagerのログ) /home/griddata/griddata-core/hadoop/logs/yarn-griddata-nodemanager-HOST_NAME.log
Sparkのログ /home/griddata/griddata-core/spark/log/*.log
ZooKeeperのログ /home/griddata/griddata-core/zookeeper/logs/*.log
Hiveのログ /home/griddata/griddata-core/hive/logs/hive.log