4. システム管理¶
注釈
Hadoop、Sparkの管理画面にホスト名でアクセスするために、Webブラウザを利用するマシンにホスト名を登録することを推奨します。
Windowsの場合、C:\Windows\System32\drivers\etc\hostsを編集してホスト名を登録します。
10.0.0.1 SERVER0 10.0.0.2 SERVER1 10.0.0.3 SERVER2 10.0.0.4 SERVER3 10.0.0.5 SERVER4 10.0.0.6 SERVER5 10.0.0.7 SERVER6
4.1. HDFSの管理¶
(1)HDFSの状態をGUIで確認する
HDFSが起動している状態で、Webブラウザから http://SERVER1:50070 にアクセスすると、HDFSの管理画面が表示されます。
管理画面ではHDFSの使用率やノードの死活情報、HDFS上にあるファイル、ディレクトリーなどを確認することができます。 詳細は Apache Hadoopのページ を参照してください。
(2)HDFSの状態をCUIで確認する
以下のコマンドにより、HDFSの状態をターミナル上で確認することができます。
$ hdfs fsck /
FSCK started by griddata (auth:SIMPLE) from /xxx.xxx.xxx.xxx for path / at ddd mm dd hh:mm:ss z yyyy
Status: HEALTHY
Total size: 0 B
Total dirs: 8
Total files: 0
Total blocks (validated): 0
Minimally replicated blocks: 0
Over-replicated blocks: 0
Under-replicated blocks: 0
Mis-replicated blocks: 0
Default replication factor: 3
Average block replication: 0.0
Corrupt blocks: 0
Missing replicas: 0
Number of data-nodes: 0
Number of racks: 0
FSCK ended at ddd mm dd hh:mm:ss z yyyy in 3 milliseconds
The filesystem under path '/' is HEALTHY
なお、HDFS上に破損したファイルがある場合は、以下のコマンドを実行し、破損したファイルを削除します。
$ hdfs fsck <破損ファイルパス> -move
$ hdfs fsck <破損ファイルパス> -delete
4.2. YARNの管理¶
(1)YARNの状態をGUIで確認する
YARNの起動後、WEBブラウザにて http://SERVER2:8088 にアクセスすると、YARNの管理画面が表示されます。
管理画面ではSparkアプリケーションの実行ステータスや履歴などを確認することができます。 詳細は Apache Sparkのページ を参照してください。
注釈
Sparkアプリケーションの実行ステータスを確認する場合は、Yarnの管理画面からアクセスしてください。
ノートブックからアクセスする場合、エラーとなる場合があります。
4.3. Sparkアプリケーションの実行履歴の管理¶
Sparkアプリケーションの実行履歴をHistoryServerのGUIで確認する HistoryServerの起動後、WEBブラウザにて http://SERVER1:18080 にアクセスすると、Sparkアプリケーションの実行履歴の画面が表示されます。
HistoryServer画面ではSparkアプリケーションの実行履歴を確認することができます。 詳細は Apache Sparkのページ を参照してください。
注釈
Sparkの履歴をHistoryServerから確認する場合、griddataユーザー以外が実行した履歴はHistoryServerに表示されません。
他のユーザーの実行履歴を表示するには、事前にgriddataユーザーで以下のコマンドを実行してください。
$ hdfs dfs -chmod 777 /var/log/spark/*
4.4. ログの確認¶
GridData Analyticsのインストールに問題が発生した場合はインストールログを、 運用中、SparkやHDFS以外で問題が起きた場合はGridData Analyticsのログを、 運用中、SparkやHDFSに問題が発生した場合はSparkやHadoop、およびZooKeeperのログを参照してください。
■ GridData Analytics インストールログ
インストールログのファイルは/tmp/tools以下に作成されます。 ファイル名は以下の通りです。
スクリプト名 | ログ名 |
---|---|
setup_redhat6.sh | setup.log |
setup_redhat7.sh | setup.log |
setup_cupy.sh | setup_cupy.log |
setup_scaleserver.sh | setup_scaleserver.log |
■ GridData Analyticsのログ
/home/griddata/analytics/.jupyter/jupyter.log
■ SparkやHadoop、ZooKeeperのログ
分類 | ログ名 |
---|---|
HDFSのログ(マスター・ノードのNameNodeのログ) | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-namenode-HOST_NAME.log |
HDFSのログ(スレーブ・ノードのDataNodeのログ) | /home/griddata/griddata-core/hadoop/logs/hadoop-griddata-datanode-HOST_NAME.log |
YARNのログ(マスター・ノードのResourceManagerのログ) | /home/griddata/griddata-core/hadoop/logs/yarn-griddata-resourcemanager-HOST_NAME.log |
YARNのログ(スレーブ・ノードのNodeManagerのログ) | /home/griddata/griddata-core/hadoop/logs/yarn-griddata-nodemanager-HOST_NAME.log |
Sparkのログ | /home/griddata/griddata-core/spark/log/*.log |
ZooKeeperのログ | /home/griddata/griddata-core/zookeeper/logs/*.log |
Hiveのログ | /home/griddata/griddata-core/hive/logs/hive.log |