Theremin(テルミン) は、世界初の電子楽器テルミンをモチーフとしたwebサービス/アプリです。(2014年に最初のバージョンが公開されていたそうです)
単に音を鳴らすだけなら簡単で、黄色いエリアでマウスをグリグリとドラッグするだけでそれっぽい音が出ます。
4種類の波形の音や、ディレイ、フィードバック、スカズ(波形の汚し)を調整することで、音色を調整できます。
本家テルミンと何から何まで同じ仕組みなわけではないので、名称がまったく同じなのはちょっと誤解を招くところかもしれません。プレイの感触としては共通点もありそうです。本物のテルミンを演奏したことはありませんが。
スマートフォン版(iOS / Android)が有料で出ていて、そちらでは演奏の録音やダウンロードもできます(デモ動画)。同じく録音ができるChrome拡張版もあるそうですが、現在はダウンロード不可になっています。
音が鳴らないピアノを弾いた手の映像から、指の動きを見て音声をつけるという研究[pdf]が Audeo です。
ワシントン大学のエリ・シュリザーマン氏の研究室のこの研究では、音楽家がピアノを弾いている「映像」だけを持ってきて、その映像から本来流れていたであろう「楽曲」を構築します。
ピアノ演奏の動画(映像)からピアノロールに変換するコンポーネント(Video2Roll)、生成されたピアノロールから指が重なって見えない箇所や音楽的に不自然な個所を本来の演奏に近いMIDIデータに変換するコンポーネント(Roll2Midi)、MIDIから楽曲を再生するコンポーネント(Midi Synth)を通すことで、ピアノの上で動かした指から、音楽を鳴らせたそうです。動画があります。
ピアノの音色を変えることもできますし、ピアノを弾くことでバイオリンを鳴らす、みたいなこともできますね。
研究としては音階と指がはっきり見えているピアノが適していて実現可能性が高かったのかもしれませんが、演奏の動画から音程が取れるなら、他の楽器についても同様のことはできるようになるのでしょう。
この研究が進めば、テーブルで指を動かすだけでスマートフォンが曲を鳴らす、みたいなこともできるようになるかもしれないですね。
via TheNextWeb
Noisy は、discord のボイスチャットで自動生成音楽を聴けるという bot です。
音楽の生成は OpenAI の MuseNet を使っています。MuseNet では、ジャンルを指定してそのジャンルっぽい音楽をAI生成できるので、bot はまあ、ジャンルの指定をコマンドで受けて生成した音楽を流しているだけではあるんですが。
discord チャンネルに noisy bot を招待し、
!play tchaikovsky
とメッセージを送ると、チャイコフスキー風楽曲がボイスチャットに流れてきます。指定できるジャンルはnoisyのウェブサイトにあるヘルプに列挙されています。
曲自体は MuseNet で生成されたものをサーバに置いているだけですが、bot を使ってボイスチャットで配信するという考えはありませんでした。Spotify など音楽アプリで聴くのはよくあるかと思うのですが、discord などに入り浸っているとその中で音楽も完結してうれしい人もいるのかもしれません。
chatコマンドと音声のレスポンス、で他にも有用なサービスを考えられるかも。
botサーバーのソースコードはGitHubで公開されています。