#author("2024-05-20T22:26:16+09:00","default:member","member") #author("2024-05-20T22:31:50+09:00","default:member","member") *AI Virtual Instruments 楽器音合成AIデモバージョン #image(transient-image.jpg) -''松本龍太郎'' -'''Keywords:AI, Music, Instruments, Virtual''' //-https://www.example.com //-__[[相互評価シート>https://www.example.com]]__ ← ここからコメントをお願いします。 ~ ~ **概要 ***これは何? //&color(red){これは何か・・を簡潔に}; 楽器音合成AIのデモバージョンです。 ~ ***やりたいこと 楽譜を入力すると、その楽譜を演奏しているかのような楽器音を合成してくれるAIを作りたい。 ~ ***背景と目的 //&color(red){プロジェクトの背景と目的}; 生演奏にはとてもコストがかかり、演奏者との繋がりなども必要だ。誰もが出来る環境にないにも関わらず、最終的な楽曲のクオリティには雲泥の差がある。 その差を埋めることができるようになる。 ~ ***コンセプト //&color(red){基本的な考え方、枠組み、視点など}; 誰もが生演奏に近い音を扱うことができるようになる楽器音合成AI 誰もが生演奏に近い音を扱うことができるようになる楽器音合成AI。 ~ ***どうすればできるのか 楽譜と音を一緒に学習させます。 その学習済みのAIを使って演奏データ(合成された楽器音)の出力を行います。 #image(plan.jpg) ~ ***現状できているもの 日本語のテキストデータを入力すると、日本語の合成音声が出力された。 それを改良して、楽譜と楽器音に変更する。 #image(plan0520.jpg) CENTER:[[合成音声のリンクはこちら>https://drive.google.com/file/d/1PqZotvhpzb80DRLCznm0Gv5vdwoAgz4-/view?usp=sharing]] ~ ***やっていることは一緒です |やりたいこと|できたこと| |#image(plan.jpg)|#image(plan0520.jpg)| ~ ***問題点 楽譜や楽器音のデータを機械が扱いやすいようなデータに変換する必要がある。 %%その変換がうまくできない。%% できました。 ''現在学習中。'' ~ 変換する時、既存のシステムを使ったが、使って良いか不明。 学習させる楽器音が、機械学習に使って良いか不明。(明言されていない) 今回の学習済モデルは公開しないが、発表するときには解決策を考える必要がある。 ~ ***成果物の仕様 //&color(red){&small(成果物の形式・サイズ・時間尺等);}; -Google Collaboratoryで動作する学習済みモデル。 --それを組み込んだ Interactive Python Notebook。 ~ //***メンバー //&color(red){共同プロジェクトの場合のみ|メンバーと役割分担を明記}; //~ ***制作ツール //&color(red){使用するツール|ハードウエア・ソフトウエア}; -Python -Logic Pro 11 ~ ***プロジェクトの期間 //&color(red){プロジェクトの期間|20XX.XX.XX - 20XX.XX.XX }; 2024.04.09 - ~ ***まとめ(今後の展望) //&color(red){プロジェクトが完結したら「まとめ」を記載して下さい。}; -変換方法の研究。 -学習させるときの入力データの数を増やす。 -生成した合成楽器音を使用できる範囲(ライセンス)を決める。 -''2年間かけて成果を出したい。そのプロトタイプ制作をしている。'' ~ ~ **調査 ***現状調査 //&color(red){プロジェクトのテーマに関わる社会の現状と問題の洗い出し}; -一般の利用者には理解しにくい専門用語や複雑な表現で満ちており、情報の理解やアクセスが制限されている状況。 -利用者とってわかりやすく作成することが必要。 ~ ***先行事例 //&color(red){プロジェクトのテーマに該当する先行事例の紹介、傾向分析など}; Melismaという楽器音合成AIがある。musicxml 形式の楽譜を入力するとヴァイオリンの音を合成してくれるAIである。中迫酒菜氏という作曲家の個人制作AIであるが、生演奏されたデータや現代の楽曲に頻出するフレーズを学習しているため、非常にクオリティの高いものとなっている。 -[[Melisma>https://kagura-music.jp/melisma-top]] --[[デモ音源>https://kagura-music.jp/melisma-inst-list]] --[[製作者「中迫酒菜」X>https://x.com/nakazako]] -pythonで学ぶ音声合成 機械学習実践シリーズ --https://book.impress.co.jp/books/1120101073 -[[NEUTRINO>https://studio-neutrino.com/]] ~ ***技法・技術情報 //&color(red){プロジェクトの遂行に必要な技法・技術に関する調査}; -Python -Tacotron 2 ~ ~ **プロジェクト管理 ***スケジュール //&color(red){計画的な遂行のために、進行管理表を作成してリンクして下さい。}; -[[こちらをクリック>https://docs.google.com/spreadsheets/d/1N-XrewtcWjInULnukHNqYH1Ye1CpZlgVixF-Dcrks1A/edit?usp=sharing]] ~ ***ToDo //&color(red){やるべきこと(タスク)を箇条書きにします。}; //&color(red){完了後は「%%取り消し線%%」あるいは「// コメントアウト」」}; -データの正規化についての研究 -水増しサンプルの作成 -%%日本語 to Speech での実験%% ~ ~ ~ ~ ~ ~ #hr CENTER:''進捗記録'' //&color(red){最新の情報を一番上に記載して下さい(古い記事が下へ沈む)。}; #hr ~ ~ **2024.05.20 今までlabファイルを作る工程で戸惑っていたが、NEUTRINOが同じことをしていることに気づき、labファイルをNEUTRINOに作らせてみた。 使って良いかどうか不明なため、実際に公開する際は注意する必要がある。 ~ **2024.05.14 発表の準備をした。 煮詰まってきたので、一旦寝かせることにする。 ~ **2024.05.07 なし ~ **2024.04.30 -ロゴや名前があれば良い -もう一度本を読み返してみる -Tacotoronを一度日本語化していたが、そもそも日本語化する必要はないのでは? ~ **2024.04.23 -日本語 to Speech での実験成功 ~ **2024.04.16 -テンソルサイズを揃えられた!やったぜ! -npyの正規化できた!やったぜ! -テンソルサイズを揃えなければならない。なぜできないのか分からない。 ~ **2024.04.09 -npyの正規化がうまくできない。沼にハマってしまった;; ~ ~ ~