embulkのプラグインをJavaで作ってみる

■embulkのプラグイン

データ加工ツールのembulkのプラグインを作ってみます。
Javaで作ります。

データ加工ツールembulkを試してみる

■embulkとは

ざっくり言うと
データを取り込んでデータ加工し、そのデータ出力を出力するツール
それぞれ取り込み、データ加工、データ出力がプラグインで拡張できるようになっている
例えばCSVファイルを読み込んで、読み込んだデータの日付フォーマットを変換しDBに入れるというようなことができるツール

domaを試してみる

■domaの特徴など

doma公式サイト

SQLファイルからSQLを読み込んで使える
SQLに必要なパラメータはコメントとして書くので
実行可能なSQLを書いておくことができる

マッピングファイルを書かなくてもいい
DBの接続情報などは設定クラスに書く
ファイルに書くことができるのかは調べてない

Daoの実装クラスなどaptを使ってコンパイル時に自動生成
実行時に動的生成するよりもレスポンスがいいとの事
そんなに変更のないクラスを実行時に毎回動的生成することに疑問を感じていたので
これはいいかも
aptについては別途調べる予定

日本語の説明が豊富
実にありがたい

Elasticsearchを試してみる

■試した環境 : windows7

■ダウンロード
  http://www.elasticsearch.org/
   dowload elk → zip

■インストール
  zipを解凍する

■kuromojiプラグインのインストール
  ※elasticserchとkuromojiのバージョンが一致させる必要がある

  インストール
    bin\plugin -i elasticsearch/elasticsearch-analysis-kuromoji/2.3.0

  アンインストール
    bin\plugin --remove elasticsearch/elasticsearch-analysis-kuromoji

■起動
  bin\elasticsearch

  daemon起動
  bin\elasticsearch -d

■起動確認
  http://localhost:9200

■データ登録・確認

参考URL
https://medium.com/hello-elasticsearch/elasticsearch-8c19db398430

curl -XPUT localhost:9200/twitter/users/taro -d "{ \"name\": \"山田 太郎\" }"

これだと文字コードの関係？でうまく登録できないのでテキストファイルにUTF-8で保存してPOSTする

data.txt
{
  "name" : "山田 太郎"
}

curl -XPUT localhost:9200/twitter/users/taro -d "@data.txt"

確認してみる
curl -XGET localhost:9200/twitter/users/taro?pretty=true
文字化けしてるが登録はできているようなのでブラウザで確認
http://localhost:9200/twitter/users/taro?pretty=true