7. 付録¶
7.1. パラメータ一覧¶
本節では、GridData Analyticsの各製品で使用する設定ファイルにおける、ファイル名と設定パラメータを説明します。
7.1.1. 環境変数設定用スクリプト¶
■ /etc/profile.d/analytics.sh
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
JAVA_HOME | /usr/java/default | Javaの環境変数 |
PYTHONPATH | /home/griddata/analytics/griddb/PythonModule3/:$(ls -a ${SPARK_HOME}/python/lib/py4j-*-src.zip):${SPARK_HOME}/python | Pythonの環境変数 |
LD_LIBRARY_PATH | /home/griddata/analytics/griddb/bin303/ | GridDBライブラリの環境変数 |
LIBRARY_PATH | /home/griddata/analytics/griddb/bin303/ | GridDBライブラリの環境変数 |
注釈
Python2でGridDBを利用する場合、環境変数PYTHONPATHの値を以下のように変更します。 /home/griddata/analytics/griddb/PythonModule2/:$(ls -a ${SPARK_HOME}/python/lib/py4j-*-src.zip):${SPARK_HOME}/python
■ /etc/profile.d/hadoop.sh
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
HADOOP_CONF_DIR | $HADOOP_HOME/conf | Hadoopの設定ファイルのディレクトリ |
HADOOP_PID_DIR | $HADOOP_HOME/pid | HadoopのPIDファイルのディレクトリ |
7.1.2. 共有ライブラリの設定ファイル¶
■ /etc/ld.so.conf.d/oracle.conf
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | /usr/lib/oracle/12.2/client64/lib/ | OracleDBのライブラリパス |
■ /etc/ld.so.conf.d/griddb.conf
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | /home/griddata/analytics/griddb/bin303 | GridDBのライブラリパス |
7.1.3. HDFSの設定ファイル¶
HDFSの設定ファイルは、/home/griddata/griddata-core/hadoop/conf/にある各ファイルを使用します。
■ core-site.xml
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
fs.defaultFS | hdfs://griddataha1 | マスタのアドレス(HAクラスタ構成時はクラスタのアドレス) |
fs.default.name | hdfs://griddataha1 | ファイルシステム名 |
■ hdfs-site.xml
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
dfs.nameservices | griddataha1 | HA時のネームサービス名 |
dfs.ha.namenodes.griddataha1 | namenode1,namenode2 | NameNodeのID |
dfs.namenode.rpc-address.griddataha1.namenode1 | SERVER1:8020 | 一つ目のNameNodeのホスト名とRPCアドレス |
dfs.namenode.servicerpc-address.griddataha1.namenode1 | SERVER1:8022 | 一つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス |
dfs.namenode.http-address.griddataha1.namenode1 | SERVER1:50070 | 一つ目のNameNodeのホスト名とHTTPアドレス |
dfs.namenode.https-address.griddataha1.namenode1 | SERVER1:50470 | 一つ目のNameNodeのホスト名とHTTPSアドレス |
dfs.namenode.rpc-address.griddataha1.namenode2 | SERVER2:8020 | 二つ目のNameNodeのホスト名とRPCアドレス |
fs.namenode.servicerpc-address.griddataha1.namenode2 | SERVER2:8022 | 二つ目のNameNodeのホスト名とHDFSサービス用のRPCアドレス |
dfs.namenode.http-address.griddataha1.namenode2 | SERVER2:50070 | 二つ目のNameNodeのホスト名とHTTPアドレス |
dfs.namenode.https-address.griddataha1.namenode2 | SERVER2:50470 | 二つ目のNameNodeのホスト名とHTTPSアドレス |
dfs.namenode.shared.edits.dir | qjournal://SERVER1:8485;SERVER2:8485;SERVER3:8485/griddataha1 | HA構成時の共有ディレクトリ |
ha.zookeeper.quorum | SERVER1:2181,SERVER2:2181,SERVER3:2181 | Zookeeperの使用サーバとポート |
dfs.hosts | /home/griddata/griddata-core/hadoop/conf/hosts.include | hosts.includeファイルパス |
dfs.hosts.exclude | /home/griddata/griddata-core/hadoop/conf/hosts.exclude | hosts.excludeファイルパス |
■ slaves
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | SERVER1 | スレーブ・ノード名 |
- | SERVER2 | 同上 |
- | SERVER3 | 同上 |
■ hosts.exclude
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | - | ノードの縮退・復帰に使用するノード名 |
■ hosts.include
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | - | ノードの除外・増設に使用するノード名 |
7.1.4. Sparkの設定ファイル¶
Sparkの設定ファイルは、/home/griddata/griddata-core/Spark/conf/にある各ファイルを使用します。
■ spark-env.sh
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
SPARK_MASTER_HOST | SERVER1またはSERVER2 | マスターのホスト名。SERVER1またはSERVER2でのみ設定 |
SPARK_DAEMON_JAVA_OPTS | -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=SERVER1:2181,SERVER2:2181,SERVER3:2181” | SparkのJVMオプション |
STANDALONE_SPARK_MASTER_HOST | spark://SERVER1:7077,spark://SERVER2:7077 | マスターのアドレス |
■ spark-defaults.conf
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
spark.master | spark://SERVER1:7077,spark://SERVER2:7077 | マスターのアドレス |
spark.eventLog.dir | hdfs://griddataha1/var/log/spark | sparkのhdfs上のログディレクトリ |
7.1.5. Zookeeperの設定ファイル¶
Griddata Analytics Scale Serverで使用します。
■ /home/griddata/griddata-core/zookeeper/conf/zoo.cfg
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | server.1=SERVER1:3181:4181 | クラスタのサーバ設定 |
- | server.2=SERVER2:3181:4181 | 同上 |
- | server.3=SERVER3:3181:4181 | 同上 |
■ /home/griddata/griddata-core/zookeeper/tmp/zookeeper/myid
パラメータ名 | パラメータ値 | 備考 |
---|---|---|
- | 備考欄を参照のこと | zookeeperで使用するマシンのID名を記載したファイルです。。SERVER1なら「1」、SERVER2なら「2」、というように各マシンごとに数字を記載します |