楽器音合成AIデモバージョン
メインビジュアル、あるいは
プロジェクトの最新の状態を視覚的に掲載
楽器音合成AIのデモバージョンです。
楽譜を入力すると、その楽譜を演奏しているかのような楽器音を合成してくれるAIを作りたい。
生演奏にはとてもコストがかかり、演奏者との繋がりなども必要だ。誰もが出来る環境にないにも関わらず、最終的な楽曲のクオリティには雲泥の差がある。
その差を埋めることができるようになる。
誰もが生演奏に近い音を扱うことができるようになる楽器音合成AI
楽譜と音を一緒に学習させます。
その学習済みのAIを使って演奏データ（合成された楽器音）の出力を行います。
本の通りやればうまくできた。
しかし、これは日本語と音声である。
これを楽譜と楽器音に変更する。
楽譜や楽器音のデータを機械が扱いやすいようなデータに変換する必要がある。その作業を正規化と呼ぶ。その正規化がうまくできない。
学習させるときの入力データの数を増やす。
Google Collaboratoryで動作する学習済みモデル
2024.04.09 -
Melismaという楽器音合成AIがある。musicxml 形式の楽譜を入力するとヴァイオリンの音を合成してくれるAIである。中迫酒菜氏という作曲家の個人制作AIであるが、生演奏されたデータや現代の楽曲に頻出するフレーズを学習しているため、非常にクオリティの高いものとなっている。