Speaking Piano

毎度おなじみ、谷口さんのブログ「柔らかな機械」より
http://h-tani.no-blog.jp/billlee/2009/10/speaking-piano.html

たぶん・・
1
ピアノの全ての鍵盤ごとに、それを単独で弾いた時の倍音構成を解析（FFT=高速フーリエ変換）して、データベース化しておく。
おそらく、何段階かの強さで弾いて、鍵盤一つにつき複数のデータのセットを持っておき、中間値が計算で得られやすくしておくとか・・・（素人予想）。

2
マイクで取り込んだ人の声をリアルタイムに解析し・・

3
解析された人の声の、音節ごとの倍音構成に、最も近くなるよう、押さえる鍵盤の組み合わせと、それぞれの強さを計算し、メカニズム部分を制御

動画の中の言葉（ドイツ語？）が解らないので違うかも知れませんが、単純に考えるとこんなやり方ではないか、と思います。

これ、簡略化したものを、REASONで再現出来ますね。
宿題にしよっかな（笑）