タグ: 音楽

カテゴリー
技術

Audeo – 鍵盤部分だけのピアノ上で動かした手の映像から音を鳴らす技術

音が鳴らないピアノを弾いた手の映像から、指の動きを見て音声をつけるという研究[pdf]が Audeo です。

ワシントン大学のエリ・シュリザーマン氏の研究室のこの研究では、音楽家がピアノを弾いている「映像」だけを持ってきて、その映像から本来流れていたであろう「楽曲」を構築します。

ピアノ演奏の動画(映像)からピアノロールに変換するコンポーネント(Video2Roll)、生成されたピアノロールから指が重なって見えない箇所や音楽的に不自然な個所を本来の演奏に近いMIDIデータに変換するコンポーネント(Roll2Midi)、MIDIから楽曲を再生するコンポーネント(Midi Synth)を通すことで、ピアノの上で動かした指から、音楽を鳴らせたそうです。動画があります。

ピアノの音色を変えることもできますし、ピアノを弾くことでバイオリンを鳴らす、みたいなこともできますね。

研究としては音階と指がはっきり見えているピアノが適していて実現可能性が高かったのかもしれませんが、演奏の動画から音程が取れるなら、他の楽器についても同様のことはできるようになるのでしょう。

この研究が進めば、テーブルで指を動かすだけでスマートフォンが曲を鳴らす、みたいなこともできるようになるかもしれないですね。

via TheNextWeb

カテゴリー
ネットのサービス

Noisy – discordで自動生成された音楽を聴ける bot サービス

Noisy は、discord のボイスチャットで自動生成音楽を聴けるという bot です。

音楽の生成は OpenAI の MuseNet を使っています。MuseNet では、ジャンルを指定してそのジャンルっぽい音楽をAI生成できるので、bot はまあ、ジャンルの指定をコマンドで受けて生成した音楽を流しているだけではあるんですが。

discord チャンネルに noisy bot を招待し、

!play tchaikovsky

とメッセージを送ると、チャイコフスキー風楽曲がボイスチャットに流れてきます。指定できるジャンルはnoisyのウェブサイトにあるヘルプに列挙されています。

曲自体は MuseNet で生成されたものをサーバに置いているだけですが、bot を使ってボイスチャットで配信するという考えはありませんでした。Spotify など音楽アプリで聴くのはよくあるかと思うのですが、discord などに入り浸っているとその中で音楽も完結してうれしい人もいるのかもしれません。

chatコマンドと音声のレスポンス、で他にも有用なサービスを考えられるかも。

botサーバーのソースコードはGitHubで公開されています。

カテゴリー
ネットのサービス

無限バッドガイ – 世界初の無限に続くミュージックビデオ

ビリー・アイリッシュのヒット曲”Bad Guy”の10億回再生を記念して、YouTube Music が作成した Infinite Bad Guy は、Bad Guy をカバーしたり Bad Guy を使って製作されたYouTube 1万数千個の動画を集め、ひたすら”Bad Guy”を流し続けることができる特設サイトです。

これはハッシュタグ #Cat の猫Bad Guy。

リコーダーでBad Guy… すごく… ヘタクソです

画面の下には、様々なハッシュタグが流れています。それぞれのタグが示す “Bad Guy” の動画がYouTube にはあるということですね。

決められた時間を待ったり、左右に出てきた別のカバーをクリックしたり、ハッシュタグをクリックしたりすると、曲のほぼ同じ個所から別の動画の続きが再生されます。同じ曲とはいえテンポも進む速さも異なる動画を同じ部分でつなげて再生するの、すごいですね。もちろん人間のDJがつなげればもっとスムースにはなるでしょうけど、これは自動でつながる箇所を見つけているわけですし、今後技術が進歩すればDJ以上の滑らかな接続が実現されていくようになるでしょう。

音楽を、というか Bad Guy を一時停止すると、これまで再生したカバーの曲数や、全曲ループを何回したか(!)、そしてあと1万6千何曲のかばーを見ていないか、などの統計情報を確認することができます。下へスクロールするとこれまで再生されたカバーの一覧も。

YouTube Music 公式による紹介動画のコメントでは、すべてのカバー動画の組み合わせのループを観るには 1.46 x 10^100 年、つまり宇宙の寿命よりも掛かる、と書いています。