Asakusa Frameworkサンプル：偏差値算出

Asakusa Framework0.2.1（batchapp）で偏差値算出処理を作ってみる。[2011-08-06]
※batchappは古い。→DirectIO版

前提

Cascadingで作った偏差値算出サンプルと同様の処理をAsakusaFWで作ってみる。

偏差値は以下のような計算式で算出できる。

1. 平均点を算出する。全学生の点数を合算し、人数をカウント。
2. 標準偏差σを算出する。（各学生の点数 - 平均点）²を全学生分全て合算して人数で割った値。の平方根。
3. 偏差値を算出する。（各学生の点数 - 平均点）×10÷標準偏差＋50。

プロジェクトの作成

AsakusaFW用プロジェクトの作成方法はWordCountの例と同じ。

モデルの作成

最初にモデルを作成する。
偏差値算出で使うデータの流れに沿ってデータモデルを準備していく。

"成績表"
ten_model = {
  "学生番号" sid : TEXT;
  "学生名" sname : TEXT;
  suugaku : INT;
  kokugo  : INT;
  rika    : INT;
  shakai  : INT;
  eigo    : INT;
};

"学生・科目毎の成績"
kamoku_model = {
  "学生番号" sid : TEXT;
  "学生名" sname : TEXT;
  "科目" kid : INT;
  "点数" ten : INT;
};

"科目毎の点数の合計"
summarized kamoku_total = kamoku_model => {
  any kid -> kid;
  sum ten -> ten;
  count sid -> count;
} % kid;

"科目毎の平均点"
average_model = kamoku_total + {
  average : DOUBLE;
};

"科目毎の標準偏差"
sigma_model = {
  kid : INT;
  average : DOUBLE;
  sigma   : DOUBLE;
};

"学生・科目毎の偏差値"
score_model = kamoku_model + {
  "科目名" kname : TEXT;
  "平均点" average : DOUBLE;
  "偏差値" score   : DOUBLE;
};

オペレーターの作成

次にオペレーター（演算子）を作成する。

afw-score/src/main/java/sample/operator/ScoreOperator.java：

package sample.operator;

import java.util.List;

import sample.modelgen.dmdl.model.AverageModel;
import sample.modelgen.dmdl.model.ScoreModel;
import sample.modelgen.dmdl.model.SigmaModel;
import sample.modelgen.dmdl.model.KamokuModel;
import sample.modelgen.dmdl.model.KamokuTotal;
import sample.modelgen.dmdl.model.TenModel;

import com.asakusafw.runtime.core.Result;
import com.asakusafw.vocabulary.model.Key;
import com.asakusafw.vocabulary.operator.CoGroup;
import com.asakusafw.vocabulary.operator.Convert;
import com.asakusafw.vocabulary.operator.Summarize;

public abstract class ScoreOperator {

/**
 * 科目毎の成績に分割
 */
@CoGroup
public void split(@Key(group = {}) List<TenModel> list,
	Result<KamokuModel> out) {
  for (TenModel ten : list) {
    out.add(createKamoku(ten, 0, ten.getSuugaku()));
    out.add(createKamoku(ten, 1, ten.getKokugo()));
    out.add(createKamoku(ten, 2, ten.getRika()));
    out.add(createKamoku(ten, 3, ten.getShakai()));
    out.add(createKamoku(ten, 4, ten.getEigo()));
    out.add(createKamoku(ten, 5, ten.getSuugaku() +
      ten.getKokugo() + ten.getRika() + 
      ten.getShakai() + ten.getEigo()));
  }
}

KamokuModel createKamoku(TenModel tm, int kid, int ten) {
  KamokuModel t = new KamokuModel();
  t.setSid(tm.getSid());
  t.setSname(tm.getSname());
  t.setKid(kid);
  t.setTen(ten);
  return t;
}

/**
 * 科目毎の合計点を算出
 */
@Summarize
public abstract KamokuTotal sumKamoku(KamokuModel kamoku);

/**
 * 科目毎の平均点を算出
 */
@Convert
public AverageModel average(KamokuTotal kamoku) {
  AverageModel r = new AverageModel();
  r.setKid(kamoku.getKid());
  r.setTen(kamoku.getTen());
  r.setCount(kamoku.getCount());
  r.setAverage((double) kamoku.getTen() / kamoku.getCount());
  return r;
}

/**
 * 科目毎の標準偏差を算出
 */
@CoGroup
public void sigma(@Key(group = "kid") List<KamokuModel> list,
	@Key(group = "kid") List<AverageModel> aveList,
	Result<SigmaModel> out) {
  AverageModel am = aveList.get(0);
  double ave = am.getAverage();

  double sum = 0;
  for (KamokuModel tm : list) {
    sum += Math.pow(tm.getTen() - ave, 2);
  }

  SigmaModel sm = new SigmaModel();
  sm.setKid(am.getKid());
  sm.setAverage(am.getAverage());
  sm.setSigma(Math.sqrt(sum / am.getCount()));
  out.add(sm);
}

static final String 科目名[] = {
	"数学", "国語", "理科", "社会", "英語", "合計"
};

/**
 * 学生・科目毎の偏差値を算出
 */
@CoGroup
public void score(@Key(group = "kid") List<KamokuModel> list,
	@Key(group = "kid") List<SigmaModel> sigmaList,
	Result<ScoreModel> out) {
  SigmaModel sm = sigmaList.get(0);
  double ave = sm.getAverage();
  double sigma = sm.getSigma();

  for (KamokuModel tm : list) {
    ScoreModel s = new ScoreModel();
    s.setSid(tm.getSid());
    s.setSname(tm.getSname());
    s.setKid(tm.getKid());
    s.setKnameAsString(科目名[s.getKid()]);
    s.setTen(tm.getTen());
    s.setAverage(ave);
    s.setScore((tm.getTen() - ave) * 10 / sigma + 50);
    out.add(s);
  }
}

2つの入力データから同じキーのものだけ持ってくるCoGroupは便利だ(笑)
ただ、平均点や標準偏差はレコード数が少ないので、もっと効率良いやり方はありそうな気がする。

少なくとも、CoGroupは最適化の妨げになるので、あまり使うべきではない。[2012-12-19]
（このサンプルを作ったのはまだAsakusaFWを知って間もない頃だったので、とりあえずCoGroupを使っていた）
→Direct I/O版偏差値算出サンプルではCoGroup以外の演算子で作ってみた。

ジョブフローの作成

オペレーターを組み合わせてジョブと入出力ファイルの指定を作成する。

package sample.jobflow.gateway;

import java.util.HashSet;
import java.util.Set;

import sample.modelgen.dmdl.model.TenModel;

import com.asakusafw.vocabulary.external.FileImporterDescription;

package sample.jobflow.gateway;

import sample.modelgen.dmdl.model.ScoreModel;

import com.asakusafw.vocabulary.external.FileExporterDescription;

public class TenFromFile extends FileImporterDescription {

	@Override
	public Class<?> getModelType() {
		return TenModel.class;
	}

	@Override
	public Set<String> getPaths() {
		Set<String> set = new HashSet<String>();
		set.add("score/input/file01");
		return set;
	}
}

public class ScoreToFile extends FileExporterDescription {

	@Override
	public Class<?> getModelType() {
		return ScoreModel.class;
	}

	@Override
	public String getPathPrefix() {
		return "score/output/score-*";
	}
}

afw-score/src/main/java/sample/jobflow/ScoreJob.java：

package sample.jobflow;

import sample.jobflow.gateway.ScoreToFile;
import sample.jobflow.gateway.TenFromFile;
import sample.modelgen.dmdl.model.AverageModel;
import sample.modelgen.dmdl.model.ScoreModel;
import sample.modelgen.dmdl.model.SigmaModel;
import sample.modelgen.dmdl.model.KamokuModel;
import sample.modelgen.dmdl.model.KamokuTotal;
import sample.modelgen.dmdl.model.TenModel;
import sample.operator.ScoreOperatorFactory;
import sample.operator.ScoreOperatorFactory.Average;

import com.asakusafw.vocabulary.flow.Export;
import com.asakusafw.vocabulary.flow.FlowDescription;
import com.asakusafw.vocabulary.flow.Import;
import com.asakusafw.vocabulary.flow.In;
import com.asakusafw.vocabulary.flow.JobFlow;
import com.asakusafw.vocabulary.flow.Out;
import com.asakusafw.vocabulary.flow.Source;
import com.asakusafw.vocabulary.flow.util.CoreOperatorFactory;

@JobFlow(name = "ScoreJob")
public class ScoreJob extends FlowDescription {
	In<TenModel> in;
	Out<ScoreModel> out;

	public ScoreJob(@Import(name = "in", description = TenFromFile.class) In<TenModel> in,
		       @Export(name = "out", description = ScoreToFile.class) Out<ScoreModel> out) {
		this.in = in;
		this.out = out;
	}

	ScoreOperatorFactory operator = new ScoreOperatorFactory();
	CoreOperatorFactory core = new CoreOperatorFactory();

	@Override
	protected void describe() {
		Source<KamokuModel> kamoku = operator.split(in).out;
		Source<KamokuTotal> kamokuTotal = operator.sumKamoku(kamoku).out;

		Average a = operator.average(kamokuTotal);
		Source<AverageModel> average = a.out;
		core.stop(a.original);

		Source<SigmaModel> sigma = operator.sigma(kamoku, average).out;
		Source<ScoreModel> score = operator.score(kamoku, sigma).out;

		out.add(score);
	}
}

ほぼ一本道で進んでいるように見えるが、最初に作ったkamokuだけ何度も使用している。

→ジョブフローのグラフ化（可視化）

ジョブフローのテスト

オペレーターの単体テストとかはちょっと省略して、ジョブフローのテストを書いてみた。

afw-score/src/test/java/sample/jobflow/ScoreJobTest.java：

package sample.jobflow;

import org.junit.Test;

import sample.modelgen.dmdl.model.ScoreModel;
import sample.modelgen.dmdl.model.TenModel;

import com.asakusafw.testdriver.JobFlowTester;

public class ScoreJobTest {

	@Test
	public void testDescribe() {
		String inDataSheet = "ten_model.xls";
		String outDataSheet = "score_model.xls";

		JobFlowTester tester = new JobFlowTester(getClass());

		tester.input("in", TenModel.class).prepare(inDataSheet + "#input");
		tester.output("out", ScoreModel.class).verify(outDataSheet + "#output", outDataSheet + "#rule");

		tester.runTest(ScoreJob.class);
	}
}

※実行する際は、ホームディレクトリーの指定を忘れずに！

afw-score/src/test/resources/sample/jobflow/ten_model.xlsのinputシート：

日本語データ（B列）が文字化けしたりしないかちょっと心配したが、大丈夫だった。

一番左のA列に注目。sid（学生番号）は数値だが、DMDL上はTEXTで定義している。
この場合、セルに数値のまま入れておくと、テスト実行時に以下のような例外が発生する。（2, 1）というのは、row=2・col=1のことだと思われる。

java.lang.RuntimeException: java.io.IOException: (file:/C:/workspace34/afw-score/target/test-classes/sample/jobflow/ten_model.xls#input, 2, 1)の形式を判別できませんでした。先頭に を付けて文字列を表すようにしてください
	at com.asakusafw.testdriver.JobFlowTester.runTest(JobFlowTester.java:95)
〜
Caused by: java.io.IOException: (file:/C:/workspace34/afw-score/target/test-classes/sample/jobflow/ten_model.xls#input, 2, 1)の形式を判別できませんでした。先頭に を付けて文字列を表すようにしてください
	at com.asakusafw.testdriver.excel.ExcelDataDriver$Engine.stringProperty(ExcelDataDriver.java:240)
〜

「先頭に を付けて」というのが空白になっていて分からないが(苦笑)、文字列項目に数値が入っているのがエラー原因だとすれば、文字列扱いにすればよい。
Excelで文字列扱いさせるにはセル内のデータの先頭にアポストロフィー「'」を付ける。 案の定、付けたら通るようになった。
（文字列扱いになったので、シート上も左寄せになる。数値項目（例えば点数は数値）は右寄せで表示される）
むしろ、アポストロフィーを付けないと駄目。シート上でセルの書式を文字列にしただけでは駄目だった。
（DMDLファイル上TEXTで指定された項目をExcelデータでは文字列にしないといけないのは、仕様で決まっている）

afw-score/src/test/resources/sample/jobflow/score_model.xlsのouputシート：

double型の比較は大丈夫かちょっと心配だったが、基本は大丈夫。
はまったのは、有効桁数がExcelとJavaで異なること。Excelの方が1桁少ない。
G列のscore（偏差値）の値は、正しい値はCascadingのサンプルに出ているものなので そのままExcelに貼り付けたら、末尾1桁が削れてしまって検証結果が一致しない。
ここでもExcel上のデータを文字列にしてやったら全桁入れられた。（アポストロフィーを付けず、セルの書式を文字列にするだけでOKだった）

あと、データは一番上の行の項目名で判定しているようなので、列ごと入れ替えても問題なかった。
（上記の例ではknameとtenが入れ替えてある）

afw-score/src/test/resources/sample/jobflow/score_model.xlsのruleシート：

今回は学生番号と科目IDがキーなので、2項目を検査キーに指定している。
また、outputシートには全出力データは書いていない。そこで、「全体の比較」に「余計なデータを無視」を指定してある。つくづくよく準備されてるｗ

こんな機能があれば…

やはり実際に使ってみると疑問点や願望などが出てくるので、ちょっとメモしておく。

@CoGroup
public <T extends DataModel<?>> void debugDump(@Key(group = {}) List<T> list, Result<T> out) {
	for (T model : list) {
		System.out.println(model);
		out.add(model);
	}
}

//ジョブフローで使う際は、簡単にコメントアウトしたり復活させたり出来ると便利
	Source<Hoge> hoge = operator.hoge(in).out;
//	core.stop(operator.debugDump(hoge).out);
	Source<Foo> foo = operator.foo(hoge).out;
	core.stop(foo); //ここから先は未作成