GridData Lake Server管理者ガイド

本マニュアルは、GridData Lake Serverのインストール、設定及び運用方法について説明したものです。 製品のご使用前に必ずお読みください。

本書に記載されている外部URLについては2017年10月時点のものとなります。

GridData Lake Serverのソフトウェア構成は以下の通りです。

ソフトウェア構成図

図のように、GridData Lake Serverは複数のアプリケーションおよびサーバで構成されています。 各アプリケーションとサーバの概要は以下の通りです。

アプリケーションとサーバの概要
名称 概要
HDFSクライアント HDFSのクライアントアプリケーション
Sparkクライアント Sparkのクライアントアプリケーション
Scalaランタイム Scalaの実行環境
GridDB DataSourceAPI Scala上でGridDBにアクセスするためのAPI
GridDBクライアント GridDBのクライアントアプリケーション
HDFSサーバ HDFSのサーバアプリケーション
Sparkサーバ Sparkのサーバアプリケーション
GridDBサーバ GridDBのサーバアプリケーション
Fluentdサーバ Fluentdのデータを受け取るサーバアプリケーション
Embulkサーバ Embulkのデータを受け取るサーバアプリケーション

データの収集にはEmbulkサーバおよびSparkサーバを、蓄積にはApache HadoopによるHDFS、またはGridDBを使用します。 データの分析にはApache Spark(Spark)を使用し、このとき必要に応じScalaのランタイム環境やGridDB DataSourceAPIを使用します。

GridData Lake Serverは、Apache HadoopおよびSparkをベースとし、 データの収集や蓄積を行う際の利便性の向上のため、各種アプリケーションを追加と設定の追加・修正を行ったものです。