3. システム管理¶
注釈
Hadoop、Sparkの管理画面にアクセスするために、Webブラウザを利用するマシンにホスト名を登録することを推奨します。
Windowsの場合、C:\Windows\System32\drivers\etc\hostsを編集してホスト名を登録します。
10.0.0.1 SERVER0 10.0.0.2 SERVER1 10.0.0.3 SERVER2 10.0.0.4 SERVER3 10.0.0.5 SERVER4 10.0.0.6 SERVER5 10.0.0.7 SERVER6
3.1. HDFSの管理¶
(1)HDFSの状態をGUIで確認する
HDFSが起動している状態で、Webブラウザから http://SERVER1:50070 にアクセスすると、HDFSの管理画面が表示されます。
管理画面ではHDFSの使用率やノードの死活情報、HDFS上にあるファイル、ディレクトリーなどを確認することができます。 詳細は Apache Hadoopのページ を参照してください。
(2)HDFSの状態をCUIで確認する
以下のコマンドにより、HDFSの状態をターミナル上で確認することができます。
$ hdfs fsck /
FSCK started by griddata (auth:SIMPLE) from /xxx.xxx.xxx.xxx for path / at ddd mm dd hh:mm:ss z yyyy
Status: HEALTHY
Total size: 0 B
Total dirs: 8
Total files: 0
Total blocks (validated): 0
Minimally replicated blocks: 0
Over-replicated blocks: 0
Under-replicated blocks: 0
Mis-replicated blocks: 0
Default replication factor: 3
Average block replication: 0.0
Corrupt blocks: 0
Missing replicas: 0
Number of data-nodes: 0
Number of racks: 0
FSCK ended at ddd mm dd hh:mm:ss z yyyy in 3 milliseconds
The filesystem under path '/' is HEALTHY
なお、HDFS上に破損したファイルがある場合は、以下のコマンドを実行し、破損したファイルを削除します。
$ hdfs fsck <破損ファイルパス> -move
$ hdfs fsck <破損ファイルパス> -delete
3.2. YARNの管理¶
YARNの状態をGUIで確認する
YARNの起動後、WEBブラウザにて http://SERVER2:8088 にアクセスすると、YARNの管理画面が表示されます。
管理画面ではSparkアプリケーションの実行ステータスや履歴などを確認することができます。 詳細は Apache Hadoopのページ を参照してください。
3.3. Sparkアプリケーションの実行履歴の管理¶
Sparkアプリケーションの実行履歴をHistoryServerのGUIで確認する
HistoryServerの起動後、WEBブラウザにて http://SERVER1:18080 にアクセスすると、Sparkアプリケーションの実行履歴の画面が表示されます。
HistoryServer画面ではSparkアプリケーションの実行履歴を確認することができます。 詳細は Apache Sparkのページ を参照してください。
3.4. Hiveサービスの管理¶
Hiveサービスの状態をGUIで確認する
Hive Server2の起動後、WEBブラウザにて http://SERVER1:10002 にアクセスすると、Hiveサービスの管理画面が表示されます。
管理画面ではHiveサービスの実行ステータスや履歴などを確認することができます。 詳細は Apache Hiveのページ を参照してください。
3.5. GridDBの管理¶
GridData Lakeは、GridDBの管理用GUIやCUIを提供していません。 GridDBを管理する場合は、GridDBにバンドルされた、管理用のGUI（gs_admin）またはコマンドインタプリタ（gs_sh）を使用してください。
3.6. ログの確認¶
問題が発生した状況に応じ、それぞれ以下のログを参照してください。
■ Fluentdサーバーのログ
/home/griddata/lake/fluentd-server/logs/fluentd-server.log
■ Embulkサーバーのログ
/home/griddata/lake/embulk-server/logs/embulk-server.log
■ LakeStudioのログ
/home/griddata/lake/lake-studio/logs/griddata-lake.log
■ HadoopやSpark、ZooKeeper、Hiveのログ
| 分類 | ログ名 |
|---|---|
| HDFSのログ（マスター・ノードのNameNodeのログ） | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-namenode-HOST_NAME.log |
| HDFSのログ（スレーブ・ノードのDataNodeのログ） | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-datanode-HOST_NAME.log |
| YARNのログ（マスター・ノードのResourceManagerのログ） | /home/griddata/griddata-core/hadoop/logs/yarn-griddata-resourcemanager-HOST_NAME.log |
| YARNのログ（スレーブ・ノードのNodeManagerのログ） | /home/griddata/griddata-core/hadoop/logs/yarn-griddata-nodemanager-HOST_NAME.log |
| Sparkのログ | /home/griddata/griddata-core/spark/log/*.log |
| ZooKeeperのログ | /home/griddata/griddata-core/zookeeper/logs/*.log |
| Hiveのログ | /home/griddata/griddata-core/hive/logs/hive.log |