Cascadingの新機能(バージョンアップによる変更点)についてのメモ。
Cascading1.1の新機能。
クラス | 内容 | 備考 | 関連 |
---|---|---|---|
Fields | setComparator()の追加 | GroupByにおける第2ソートに使用する。 | ユーザーガイド1.1のExample 3.7 |
TextDelimited | CSVファイルを扱うScheme | TextLineの代わりに使用する。 | ユーザーガイド1.1の3.3 Source and Sink Taps |
GlobHfs | glob(ワイルドカード)で指定可能なHfs | ユーザーガイド1.1の3.3 Source and Sink Taps | |
SinkMode | APPENDが廃止されてUPDATEが追加 | UPDATEはDB更新用というイメージ。 | ユーザーガイド1.1の3.3 Source and Sink Taps |
Fields | REPLACE・SWAPの追加 | ユーザーガイド1.1の3.4 Field Algebra | |
Tuple | 扱えるクラスがComparableからObjectに変更 | ユーザーガイド1.1の6.8 Custom Types and Serialization | |
Each | DebugLevelの新設 | ユーザーガイド1.1の7.2 Debug Function | |
OperationCall | getArgumentFields()の追加 | 引数フィールドの取得。 FunctionCall・FilterCall AggregatorCall・BufferCall 等で使用可能。 |
|
Pipe | names()の追加 | 複数のパイプの名前を配列にして返す。 | |
Fields | rename()の追加 | フィールド名の一部を変更した新しいFieldsを生成する。 | |
CoGroup | resultGroupFieldsの追加 | 出力用のグループキーの指定。 |
SerializationTokenはCascading1.0から在るクラスだが、ユーザーガイドには1.1で追記された模様。(6.8 Custom Types and Serialization)
Cascading1.2の新機能。[2011-12-25]
クラス | 内容 | 備考 | 関連 |
---|---|---|---|
WritableSequenceFile | 新規クラス | 直接Writableが扱える模様。 | |
AggregateBy | 新規クラス | SubAssembly | ユーザーガイド1.2の6.9 Partial Aggregation instead of Combiners |
AverageBy CountBy SumBy Unique |
新規クラス | 例えば「new CountBy(group, name) 」は「 new Every(new
GroupBy(group), new Count()) 」と同等。 |
AggregateByで複数の集計をまとめて記述できる。 |