2.2. データ管理¶
Lake Studioのデータ管理機能では、HDFSのファイルやGridDBのコンテナに付与するテーブルの定義や管理を行います。
Lake Studioでは、HDFSのファイルとGridDBのコンテナという異なる2種類のデータに対し、メタデータとしてテーブルを付与することができます。 テーブルを付与すると、Lake Studioのデータ編集機能において、SQLによってデータにアクセスすることができるようになります。
また、HDFSのファイルやディレクトリーの管理を行います。
2.2.1. テーブル管理画面¶
ログインに成功すると、テーブル管理画面が開きます。別のタブを表示している場合は、Manage dataタブからTableタブをクリックすると、テーブル管理画面が開きます。
- 検索フォーム
- 入力した文字列に対して、該当するテーブルをリアルタイムに検索します。ファイルリストに表示されるすべての情報の文字列に対して部分一致したものを表示します。
- リフレッシュボタン
- ファイルリストの表示内容を最新の状態に更新します。
- 操作ボタン
- ファイルリストで選択したファイルやディレクトリーに対し、以下のボタンに対応した操作を実行します。詳細は後述します。
- グループ選択メニュー
- ログインユーザーが所属するグループの一覧を表示します。グループを選択すると、テーブルリストに表示されるテーブルが選択したグループのものに切り替わります。
- テーブルリスト
- 現在のグループ内のテーブルの一覧を表示します。下部の操作パネルにより、ページ遷移ができます。詳細は後述します。
- テーブルスキーマ
- テーブルリスト上で選択したテーブルの、テーブル名とカラム情報（カラム名、キーかどうか、データ型、説明文）を表示します。
操作ボタン¶
- 新規テーブル作成（手動）
GridDBまたはHDFS上に空のデータを作成し、その上にテーブルを付与します。 新規テーブル作成（手動）ダイアログにテーブル名とデータロケーション情報、カラム情報を入力してSubmitボタンをクリックすると、空のテーブルを作成します。
Stored Dataでテーブルを付与するデータの種類や場所を指定します。Container、File(csv)、File(tsv)、File(json)の4種類から選択します。 Containerを選択すると、GridDB上に空のコンテナを作成し、その上にテーブルを付与します。コンテナ名を指定します。 Fileを選択すると、HDFS上に指定した形式の空ファイルを作成し、その上にテーブルを付与します。ファイル名は指定できません。 カラム情報にはカラムごとにカラム名、説明文、データ型を定義します。
- 新規テーブル作成（HDFSファイル）
既存のHDFSファイルにテーブルを付与します。 新規テーブル作成（HDFSファイル）ダイアログでHDFS上のファイルを選択し、フォーマットを指定してPreviewボタンをクリックすると、指定したフォーマットを前提としてファイルを読み出し、その一部を表示します。 Nextボタンをクリックすると、ファイルの内容から推定したテーブルスキーマを表示します。 テーブル名、説明文を記述し、必要があればテーブルスキーマを修正してSubmitボタンをクリックすると、指定したファイルにテーブルを付与します。
選択可能なファイル形式はCSV、TSDV、JSONの3種類です。 フォーマットとして区切り文字、行区切り文字、クォート文字、ヘッダー行の有無を指定します。 区切り文字は半角カンマかタブ文字、行区切り文字は改行文字のみ、クォート文字は半角シングルクォートかダブルクォートから選択します。 Previewボタンをクリックすると、指定したフォーマットを前提としてファイルを読み出し、その一部を表示します。
- 新規テーブル作成（GridDBコンテナ）
既存のGridDBコンテナにテーブルを付与します。 新規テーブル作成（GridDBコンテナ）ダイアログでGridDBコンテナを選択し、Previewボタンをクリックすると、コンテナの一部を表示します。 Nextボタンをクリックすると、コンテナのスキーマ情報を読み出します。 テーブル名、説明文を記述し、Submitボタンをクリックすると、指定したコンテナにテーブルを付与します。
警告
読み出したスキーマ情報に対してカラムを追加・削除することができますが、変更してからSubmitボタンをクリックするとエラーになります。 カラムの追加・削除は行わないでください。
- コピー
テーブルを別名で複製します。テーブルリストでコピーしたいテーブルをひとつだけ選択し、コピーボタンをクリックするとコピーダイアログを表示します。
コピーダイアログに、コピー元とコピー先のテーブル名を入力します。コピー先テーブルのデータをHDFSとGridDBのどちらに保持するかを選択します。 GridDBに保持する場合、コンテナ名を別に指定できます。
- テーブル削除
テーブルリストでテーブルを選択し、テーブル削除ボタンをクリックすると、テーブルを削除します。複数のテーブルを一度に削除できます。 テーブルを削除すると、テーブルが参照しているデータも削除します。
- 全行削除
テーブルリストでテーブルを選択し、全行削除ボタンをクリックすると、テーブルを空します。複数のテーブルを一度に空にできます。
注釈
データがGridDBコンテナであるテーブルを全行削除することはできません。
- ダウンロード
テーブルリストでテーブルを選択し、ダウンロードボタンをクリックすると、テーブルのデータをダウンロードします。複数のテーブルを一度にダウンロードできます。 データは保存場所に関わらずCSVファイルとし、それらをdata.zipファイルにまとめてダウンロードします。
テーブルリスト¶
各カラムの内容を説明します。
- チェックボックス
操作ボタンで操作するテーブルを選択するためのチェックボックスです。
- Table Name
テーブル名を表示します。テーブル名のリンクをクリックすると、テーブル表示ダイアログでテーブルのデータを表示します。
- Columns
テーブルのカラム情報を表示します。
- Description
テーブルの説明文を表示します。
- Type
テーブルが参照しているデータの種別を表示します。GridDBとFileの2種類です。
データ型対応表¶
| コンテナデータ型 | テーブルデータ型 |
|---|---|
| STRING | STRING |
| BOOL | BOOLEAN |
| BYTE | TINYINT |
| SHORT | SMALLINT |
| INTEGER | INT |
| LONG | BIGINT |
| FLOAT | FLOAT |
| DOUBLE | DOUBLE |
| TIMESTAMP | TIMESTAMP |
| GEOMETRY | STRING |
| BLOB | BINARY |
| STRING_ARRAY | ARRAY<STRING> |
| BYTE_ARRAY | ARRAY<TINYINT> |
| SHORT_ARRAY | ARRAY<SHORT> |
| INTEGER_ARRAY | ARRAY<INT> |
| LONG_ARRAY | ARRAY<LONG> |
| FLOAT_ARRAY | ARRAY<FLOAT> |
| DOUBLE_ARRAY | ARRAY<DOUBLE> |
2.2.2. HDFSファイル管理画面¶
Manage dataタブからFileタブをクリックすると、HDFSファイル管理画面が開きます。
- 検索フォーム
- 入力した文字列に対して、該当するファイルやディレクトリーをカレントディレクトリー内からリアルタイムに検索します。ファイルリストに表示されるすべての情報の文字列に対して部分一致したものを表示します。
- カレントディレクトリーパス
- カレントディレクトリーの絶対パスを表示します。上位ディレクトリー名のリンクをクリックすると、そのディレクトリーに遷移します。
- リフレッシュボタン
- ファイルリストの表示内容を最新の状態に更新します。
- 操作ボタン
- ファイルリストで選択したファイルやディレクトリーに対し、以下のボタンに対応した操作を実行します。詳細は後述します。
- ごみ箱
- ごみ箱の中身を表示します。
- ファイルリスト
- カレントディレクトリー内のファイル・ディレクトリーの情報を表示します。下部の操作パネルにより、ページ遷移ができます。詳細は後述します。
操作ボタン¶
列の左から、各ボタンの機能を説明します。
- ダウンロード
ファイルをクライアントマシンにダウンロードします。
- アップロード
クライアントマシンのファイルをダイアログにドラッグアンドドロップし、またはChoose Filesボタンをクリックしてファイルを選択し、Uploadボタンをクリックすると、HDFS上にアップロードします。 複数のファイルを一度にアップロードできます。
- 新規ディレクトリー作成
カレントディレクトリーに新しいディレクトリーを作成します。
- 移動
ファイルを別のディレクトリーに移動します。
- コピー
ファイルを別のディレクトリーにコピーします。
- アクセス権変更
ファイル・ディレクトリーのグループ、アクセス権を変更します。
- 削除
ファイル・ディレクトリーを削除します。復旧はできません。
- 削除（ごみ箱へ移動）
ファイル・ディレクトリーをごみ箱エリアに移動します。
- カレントディレクトリー変更
カレントディレクトリーを別のディレクトリーに変更します。
ファイルリスト¶
各カラムの内容を説明します。
- チェックボックス
操作ボタンで操作するファイルやディレクトリーを選択するためのチェックボックスです。
- Type
ファイルかディレクトリーかをアイコンで表示します。 ファイルの場合、そのレコードをクリックすると、ファイルの中身の一部を右側ペインに表示します。 ディレクトリーの場合、そのレコードをクリックすると、そのディレクトリーをカレントディレクトリーとしてファイルリストの表示を更新します。
- Name
ファイル・ディレクトリー名を表示します。 ファイルの場合、ファイル名のリンクをクリックすると、ファイル表示ダイアログでファイルの中身を表示します。
- Size
ファイルの場合、ファイルサイズを表示します。
- User
ファイル・ディレクトリーを所有するユーザー名を表示します。
- Group
ファイル・ディレクトリーを所有するグループ名を表示します。
- Permission
ファイル・ディレクトリーのアクセス権を表示します。
- Date modified
ファイル・ディレクトリーの最終更新日時を表示します。