6. 付録

6.1. パラメータ一覧

本節では、GridData Lakeで使用する設定ファイルにおける、ファイル名とパラメータの一覧を記述します。

6.1.1. Fluentdサーバ設定ファイル

  • fluentd.properties
設定名 概要
HDFSURI hdfs://SPARK1:8020 出力先HDFSのURI
HDFSROOTPATH /home/griddata/data HDFSのルートディレクトリ
TAGNAME tag タグ名(格納先ファイルパス)

6.1.2. Embulkサーバ設定ファイル

  • embulk.properties
設定名 概要
port 21 FTP制御ポート
data-ports 20 FTPデータ転送ポート
hdfs-uri hdfs://SPARK1:8020 出力先HDFSのURI
superuser griddata HDFSにアクセスするスーパユーザ
supergroup griddata HDFSにアクセスするスーパグループ

6.1.3. HDFS設定ファイル

HDFSの設定ファイルは、/home/griddata/griddata-core/hadoop/conf/にある各ファイルを使用します。

■ core-site.xml

パラメータ名 パラメータ値 備考
fs.defaultFS hdfs://griddataha1 マスタのアドレス(HAクラスタ構成時はクラスタのアドレス)
fs.default.name hdfs://griddataha1 ファイルシステム名

■ hdfs-site.xml

パラメータ名 パラメータ値 備考
dfs.nameservices griddataha1 HA時のネームサービス名
dfs.ha.namenodes.griddataha1 namenode1,namenode2 NameNodeのID
dfs.namenode.rpc-address.griddataha1.namenode1 SPARK1:8020 一つ目のNameNodeのホスト名とRPCアドレス
dfs.namenode.servicerpc-address.griddataha1.namenode1 SPARK1:8022 一つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス
dfs.namenode.http-address.griddataha1.namenode1 SPARK1:50070 一つ目のNameNodeのホスト名とHTTPアドレス
dfs.namenode.https-address.griddataha1.namenode1 SPARK1:50470 一つ目のNameNodeのホスト名とHTTPSアドレス
dfs.namenode.rpc-address.griddataha1.namenode2 SPARK2:8020 二つ目のNameNodeのホスト名とRPCアドレス
fs.namenode.servicerpc-address.griddataha1.namenode2 SPARK2:8022 二つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス
dfs.namenode.http-address.griddataha1.namenode2 SPARK2:50070 二つ目のNameNodeのホスト名とHTTPアドレス
dfs.namenode.https-address.griddataha1.namenode2 SPARK2:50470 二つ目のNameNodeのホスト名とHTTPSアドレス
dfs.namenode.shared.edits.dir qjournal://SPARK1:8485;SPARK2:8485;SPARK3:8485/griddataha1 HA構成時の共有ディレクトリ
ha.zookeeper.quorum SPARK1:2181,SPARK2:2181,SPARK3:2181 Zookeeperの使用サーバとポート
dfs.hosts /home/griddata/griddata-core/hadoop/conf/hosts.include hosts.includeファイルパス
dfs.hosts.exclude /home/griddata/griddata-core/hadoop/conf/hosts.exclude hosts.excludeファイルパス

■ slaves

パラメータ名 パラメータ値 備考
SPARK1 スレーブ・ノード名
SPARK2 同上
SPARK3 同上

■ hosts.exclude

パラメータ名 パラメータ値 備考
ノードの縮退・復帰に使用するノード名

■ hosts.include

パラメータ名 パラメータ値 備考
ノードの除外・増設に使用するノード名

6.1.4. Sparkの設定ファイル

Sparkの設定ファイルは、/home/griddata/griddata-core/Spark/conf/にある各ファイルを使用します。

■ spark-env.sh

パラメータ名 パラメータ値 備考
SPARK_MASTER_HOST SPARK1またはSPARK2 マスターのホスト名。SPARK1またはSPARK2でのみ設定
SPARK_DAEMON_JAVA_OPTS -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=SPARK1:2181,SPARK2:2181,SPARK3:2181” SparkのJVMオプション
STANDALONE_SPARK_MASTER_HOST spark://SPARK1:7077,spark://SPARK2:7077 マスターのアドレス

■ spark-defaults.conf

パラメータ名 パラメータ値 備考
spark.master spark://SPARK1:7077,spark://SPARK2:7077 マスターのアドレス
spark.eventLog.dir hdfs://griddataha1/var/log/spark sparkのhdfs上のログディレクトリ

6.1.5. Zookeeperの設定ファイル

Griddata Analytics Scale Serverで使用します。

■ /home/griddata/griddata-core/zookeeper/conf/zoo.cfg

パラメータ名 パラメータ値 備考
server.1=SPARK1:3181:4181 クラスタのサーバ設定
server.2=SPARK2:3181:4181 同上
server.3=SPARK3:3181:4181 同上

■ /home/griddata/griddata-core/zookeeper/tmp/zookeeper/myid

パラメータ名 パラメータ値 備考
備考欄を参照のこと zookeeperで使用するマシンのID名を記載したファイルです。。SPARK1なら「1」、SPARK2なら「2」、というように各マシンごとに数字を記載します