6. 付録¶
6.1. パラメータ一覧¶
本節では、GridData Lakeで使用する設定ファイルにおける、ファイル名とパラメータの一覧を記述します。
6.1.1. Fluentdサーバ設定ファイル¶
- fluentd.properties
設定名 | 値 | 概要 |
---|---|---|
HDFSURI | hdfs://SPARK1:8020 | 出力先HDFSのURI |
HDFSROOTPATH | /home/griddata/data | HDFSのルートディレクトリ |
TAGNAME | tag | タグ名(格納先ファイルパス) |
6.1.2. Embulkサーバ設定ファイル¶
- embulk.properties
設定名 | 値 | 概要 |
---|---|---|
port | 21 | FTP制御ポート |
data-ports | 20 | FTPデータ転送ポート |
hdfs-uri | hdfs://SPARK1:8020 | 出力先HDFSのURI |
superuser | griddata | HDFSにアクセスするスーパユーザ |
supergroup | griddata | HDFSにアクセスするスーパグループ |
6.1.3. HDFS設定ファイル¶
HDFSの設定ファイルは、/home/griddata/griddata-core/hadoop/conf/にある各ファイルを使用します。
■ core-site.xml
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
fs.defaultFS | hdfs://griddataha1 | マスタのアドレス(HAクラスタ構成時はクラスタのアドレス) |
fs.default.name | hdfs://griddataha1 | ファイルシステム名 |
■ hdfs-site.xml
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
dfs.nameservices | griddataha1 | HA時のネームサービス名 |
dfs.ha.namenodes.griddataha1 | namenode1,namenode2 | NameNodeのID |
dfs.namenode.rpc-address.griddataha1.namenode1 | SPARK1:8020 | 一つ目のNameNodeのホスト名とRPCアドレス |
dfs.namenode.servicerpc-address.griddataha1.namenode1 | SPARK1:8022 | 一つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス |
dfs.namenode.http-address.griddataha1.namenode1 | SPARK1:50070 | 一つ目のNameNodeのホスト名とHTTPアドレス |
dfs.namenode.https-address.griddataha1.namenode1 | SPARK1:50470 | 一つ目のNameNodeのホスト名とHTTPSアドレス |
dfs.namenode.rpc-address.griddataha1.namenode2 | SPARK2:8020 | 二つ目のNameNodeのホスト名とRPCアドレス |
fs.namenode.servicerpc-address.griddataha1.namenode2 | SPARK2:8022 | 二つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス |
dfs.namenode.http-address.griddataha1.namenode2 | SPARK2:50070 | 二つ目のNameNodeのホスト名とHTTPアドレス |
dfs.namenode.https-address.griddataha1.namenode2 | SPARK2:50470 | 二つ目のNameNodeのホスト名とHTTPSアドレス |
dfs.namenode.shared.edits.dir | qjournal://SPARK1:8485;SPARK2:8485;SPARK3:8485/griddataha1 | HA構成時の共有ディレクトリ |
ha.zookeeper.quorum | SPARK1:2181,SPARK2:2181,SPARK3:2181 | Zookeeperの使用サーバとポート |
dfs.hosts | /home/griddata/griddata-core/hadoop/conf/hosts.include | hosts.includeファイルパス |
dfs.hosts.exclude | /home/griddata/griddata-core/hadoop/conf/hosts.exclude | hosts.excludeファイルパス |
■ slaves
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | SPARK1 | スレーブ・ノード名 |
- | SPARK2 | 同上 |
- | SPARK3 | 同上 |
■ hosts.exclude
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | - | ノードの縮退・復帰に使用するノード名 |
■ hosts.include
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | - | ノードの除外・増設に使用するノード名 |
6.1.4. Sparkの設定ファイル¶
Sparkの設定ファイルは、/home/griddata/griddata-core/Spark/conf/にある各ファイルを使用します。
■ spark-env.sh
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
SPARK_MASTER_HOST | SPARK1またはSPARK2 | マスターのホスト名。SPARK1またはSPARK2でのみ設定 |
SPARK_DAEMON_JAVA_OPTS | -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=SPARK1:2181,SPARK2:2181,SPARK3:2181” | SparkのJVMオプション |
STANDALONE_SPARK_MASTER_HOST | spark://SPARK1:7077,spark://SPARK2:7077 | マスターのアドレス |
■ spark-defaults.conf
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
spark.master | spark://SPARK1:7077,spark://SPARK2:7077 | マスターのアドレス |
spark.eventLog.dir | hdfs://griddataha1/var/log/spark | sparkのhdfs上のログディレクトリ |
6.1.5. Zookeeperの設定ファイル¶
Griddata Analytics Scale Serverで使用します。
■ /home/griddata/griddata-core/zookeeper/conf/zoo.cfg
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | server.1=SPARK1:3181:4181 | クラスタのサーバ設定 |
- | server.2=SPARK2:3181:4181 | 同上 |
- | server.3=SPARK3:3181:4181 | 同上 |
■ /home/griddata/griddata-core/zookeeper/tmp/zookeeper/myid
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | 備考欄を参照のこと | zookeeperで使用するマシンのID名を記載したファイルです。。SPARK1なら「1」、SPARK2なら「2」、というように各マシンごとに数字を記載します |