S-JIS[2010-05-01/2011-12-25] 変更履歴

Cascading 新機能

Cascadingの新機能(バージョンアップによる変更点)についてのメモ。


Cascading1.1

Cascading1.1の新機能。

クラス 内容 備考 関連
Fields setComparator()の追加 GroupByにおける第2ソートに使用する。 ユーザーガイド1.1のExample 3.7
TextDelimited CSVファイルを扱うScheme TextLineの代わりに使用する。 ユーザーガイド1.1の3.3 Source and Sink Taps
GlobHfs glob(ワイルドカード)で指定可能なHfs   ユーザーガイド1.1の3.3 Source and Sink Taps
SinkMode APPENDが廃止されてUPDATEが追加 UPDATEはDB更新用というイメージ。 ユーザーガイド1.1の3.3 Source and Sink Taps
Fields REPLACE・SWAPの追加   ユーザーガイド1.1の3.4 Field Algebra
Tuple 扱えるクラスがComparableからObjectに変更   ユーザーガイド1.1の6.8 Custom Types and Serialization
Each DebugLevelの新設   ユーザーガイド1.1の7.2 Debug Function
OperationCall getArgumentFields()の追加 引数フィールドの取得。
FunctionCallFilterCall
AggregatorCallBufferCall
等で使用可能。
 
Pipe names()の追加 複数のパイプの名前を配列にして返す。  
Fields rename()の追加 フィールド名の一部を変更した新しいFieldsを生成する。  
CoGroup resultGroupFieldsの追加 出力用のグループキーの指定。  

SerializationTokenはCascading1.0から在るクラスだが、ユーザーガイドには1.1で追記された模様。(6.8 Custom Types and Serialization


Cascading1.2

Cascading1.2の新機能。[2011-12-25]

クラス 内容 備考 関連
WritableSequenceFile 新規クラス 直接Writableが扱える模様。  
AggregateBy 新規クラス SubAssembly ユーザーガイド1.2の6.9 Partial Aggregation instead of Combiners
AverageBy
CountBy
SumBy
Unique
新規クラス 例えば「new CountBy(group, name)」は
new Every(new GroupBy(group), new Count())」と同等。
AggregateBy複数の集計をまとめて記述できる。

Cascadingへ戻る / Hadoopへ戻る / Java目次へ行く / 技術メモへ戻る
メールの送信先:ひしだま