Embulk Tsurugiからの入力

EmbulkのTsurugi読み込みプラグインのメモ。

概要

RDBのTsurugiからデータを読み込むプラグインを作ってみた。
プラグイン名はembulk-input-tsurugidb。

このプラグインはEmbulk 0.10以降で、Java11以降に対応。（TsurugiのJava通信ライブラリーであるTsubakuroがJava11以降な為）

TsurugiはJDBCを提供していないので、embulk-input-postgresqlを元にしてTsubakuroを使うよう変更した。
基本的な使用方法はembulk-input-postgresqlと同じにしたつもりだが、対応していない機能もある。

このプラグインを使う為には、embulk-input-tsurugidbプラグインをインストールしておく必要がある。

インストール方法

Embulk 0.10以降ではgemを使わないインストール方法になった。以下のようにしてインストールする。
（最新バージョンはMavenセントラルリポジトリーで確認できる）

1. プラグイン本体と依存ライブラリーをMavenローカルリポジトリーにインストールする。

   Embulk 0.10〜0.11.2の場合
   $ export m2_repo=〜
   $ mvn dependency:get -Dartifact=io.github.hishidama.embulk:embulk-input-tsurugidb:1.3.0
   
   Embulk 0.11.3以降の場合 [2023-06-02]
   $ java -jar embulk-0.11.3.jar install io.github.hishidama.embulk:embulk-input-tsurugidb:1.3.0

2. config.ymlのtypeに「tsurugidb」で指定したい場合は、Embulkのプロパティーファイルに設定を追加する。[2024-07-11]
   →プロパティーファイルの記述方法

typeの指定方法

従来通りの方法

inのtypeにtsurugidbを指定する。

config.yml：

in:
  type: tsurugidb
  endpoint: tcp://localhost:12345
〜

この場合は、Embulkのプロパティーファイル（Linuxの場合は$HOME/.embulk/embulk.properties、Windowsの場合は%USERPROFILE%\.embulk\embulk.properties）に設定を追加する必要がある。

embulk.properties：

plugins.input.tsurugidb=maven:io.github.hishidama.embulk:tsurugidb:0.1.7

Embulk 0.11.3以降

inのtypeに「source: maven」を指定する。[2024-07-11]

config.yml：

in:
  type:
    source: maven
    group: io.github.hishidama.embulk
    name: tsurugidb
    version: 0.1.7
  endpoint: tcp://localhost:12345
〜

例

select文を指定する例

config.yml：

in:
  type: tsurugidb
  endpoint: tcp://localhost:12345
  query: select * from test where foo >=2 order by foo

out:
  type: stdout

endpointにTsurugiのエンドポイントを指定する。

queryでselect文を指定する。

テーブルを指定してselectする例

config.yml：

in:
  type: tsurugidb
  endpoint: tcp://localhost:12345
  table: test
  where: foo >= 2
  order_by: foo

out:
  type: stdout

tableにテーブル名を指定する。
必要であれば、whereやorder_byを指定する。

config.ymlの設定

config.ymlにTsurugi特有のトランザクションオプションやコミットオプションを指定できる。

その他の設定は、embulk-input-jdbcと同様（のはず）。

※queryと、table（およびselect・where・order_by）は、どちらかしか指定できない。

変更履歴

Tsurugi（Tsubakuro）のバージョンアップに伴うものは省略。

• ver0.1.0 [2023-10-08]
  • 初回リリース
• ver0.1.1 [2023-10-09]
  • tx_priority, commit_typeのエラーメッセージ改善
• ver1.0.0 [2024-08-31]
  • session_keep_alive
  • session_shutdown_type・sssion_shutdown_timeout

ver0.1.3はスキップ。（embulk-output-tsurugidbのバージョンに合わせる為）[2024-01-29]