7. 付録

7.1. パラメータ一覧

本節では、GridData Analyticsの各製品で使用する設定ファイルにおける、ファイル名と設定パラメータを説明します。

7.1.1. 環境変数設定用スクリプト

■ /etc/profile.d/analytics.sh

パラメータ名 パラメータ値 備考
JAVA_HOME /usr/java/default Javaの環境変数
PYTHONPATH /home/griddata/analytics/griddb/PythonModule3/:$(ls -a ${SPARK_HOME}/python/lib/py4j-*-src.zip):${SPARK_HOME}/python Pythonの環境変数
LD_LIBRARY_PATH /home/griddata/analytics/griddb/bin303/ GridDBライブラリの環境変数
LIBRARY_PATH /home/griddata/analytics/griddb/bin303/ GridDBライブラリの環境変数

注釈

Python2でGridDBを利用する場合、環境変数PYTHONPATHの値を以下のように変更します。 /home/griddata/analytics/griddb/PythonModule2/:$(ls -a ${SPARK_HOME}/python/lib/py4j-*-src.zip):${SPARK_HOME}/python

■ /etc/profile.d/hadoop.sh

パラメータ名 パラメータ値 備考
HADOOP_CONF_DIR $HADOOP_HOME/conf Hadoopの設定ファイルのディレクトリ
HADOOP_PID_DIR $HADOOP_HOME/pid HadoopのPIDファイルのディレクトリ

7.1.2. 共有ライブラリの設定ファイル

■ /etc/ld.so.conf.d/oracle.conf

パラメータ名 パラメータ値 備考
/usr/lib/oracle/12.2/client64/lib/ OracleDBのライブラリパス

■ /etc/ld.so.conf.d/griddb.conf

パラメータ名 パラメータ値 備考
/home/griddata/analytics/griddb/bin303 GridDBのライブラリパス

7.1.3. HDFSの設定ファイル

HDFSの設定ファイルは、/home/griddata/griddata-core/hadoop/conf/にある各ファイルを使用します。

■ core-site.xml

パラメータ名 パラメータ値 備考
fs.defaultFS hdfs://griddataha1 マスタのアドレス(HAクラスタ構成時はクラスタのアドレス)
fs.default.name hdfs://griddataha1 ファイルシステム名

■ hdfs-site.xml

パラメータ名 パラメータ値 備考
dfs.nameservices griddataha1 HA時のネームサービス名
dfs.ha.namenodes.griddataha1 namenode1,namenode2 NameNodeのID
dfs.namenode.rpc-address.griddataha1.namenode1 SERVER1:8020 一つ目のNameNodeのホスト名とRPCアドレス
dfs.namenode.servicerpc-address.griddataha1.namenode1 SERVER1:8022 一つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス
dfs.namenode.http-address.griddataha1.namenode1 SERVER1:50070 一つ目のNameNodeのホスト名とHTTPアドレス
dfs.namenode.https-address.griddataha1.namenode1 SERVER1:50470 一つ目のNameNodeのホスト名とHTTPSアドレス
dfs.namenode.rpc-address.griddataha1.namenode2 SERVER2:8020 二つ目のNameNodeのホスト名とRPCアドレス
fs.namenode.servicerpc-address.griddataha1.namenode2 SERVER2:8022 二つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス
dfs.namenode.http-address.griddataha1.namenode2 SERVER2:50070 二つ目のNameNodeのホスト名とHTTPアドレス
dfs.namenode.https-address.griddataha1.namenode2 SERVER2:50470 二つ目のNameNodeのホスト名とHTTPSアドレス
dfs.namenode.shared.edits.dir qjournal://SERVER1:8485;SERVER2:8485;SERVER3:8485/griddataha1 HA構成時の共有ディレクトリ
ha.zookeeper.quorum SERVER1:2181,SERVER2:2181,SERVER3:2181 Zookeeperの使用サーバとポート
dfs.hosts /home/griddata/griddata-core/hadoop/conf/hosts.include hosts.includeファイルパス
dfs.hosts.exclude /home/griddata/griddata-core/hadoop/conf/hosts.exclude hosts.excludeファイルパス

■ slaves

パラメータ名 パラメータ値 備考
SERVER1 スレーブ・ノード名
SERVER2 同上
SERVER3 同上

■ hosts.exclude

パラメータ名 パラメータ値 備考
ノードの縮退・復帰に使用するノード名

■ hosts.include

パラメータ名 パラメータ値 備考
ノードの除外・増設に使用するノード名

7.1.4. Sparkの設定ファイル

Sparkの設定ファイルは、/home/griddata/griddata-core/Spark/conf/にある各ファイルを使用します。

■ spark-env.sh

パラメータ名 パラメータ値 備考
SPARK_MASTER_HOST SERVER1またはSERVER2 マスターのホスト名。SERVER1またはSERVER2でのみ設定
SPARK_DAEMON_JAVA_OPTS -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=SERVER1:2181,SERVER2:2181,SERVER3:2181” SparkのJVMオプション
STANDALONE_SPARK_MASTER_HOST spark://SERVER1:7077,spark://SERVER2:7077 マスターのアドレス

■ spark-defaults.conf

パラメータ名 パラメータ値 備考
spark.master spark://SERVER1:7077,spark://SERVER2:7077 マスターのアドレス
spark.eventLog.dir hdfs://griddataha1/var/log/spark sparkのhdfs上のログディレクトリ

7.1.5. Zookeeperの設定ファイル

Griddata Analytics Scale Serverで使用します。

■ /home/griddata/griddata-core/zookeeper/conf/zoo.cfg

パラメータ名 パラメータ値 備考
server.1=SERVER1:3181:4181 クラスタのサーバ設定
server.2=SERVER2:3181:4181 同上
server.3=SERVER3:3181:4181 同上

■ /home/griddata/griddata-core/zookeeper/tmp/zookeeper/myid

パラメータ名 パラメータ値 備考
備考欄を参照のこと zookeeperで使用するマシンのID名を記載したファイルです。。SERVER1なら「1」、SERVER2なら「2」、というように各マシンごとに数字を記載します