#author("2024-05-14T16:06:35+09:00","default:member","member") #author("2024-05-14T16:15:46+09:00","default:member","member") *AI Virtual Instruments 楽器音合成AIデモバージョン メインビジュアル、あるいは プロジェクトの最新の状態を視覚的に掲載 -''松本龍太郎'' -'''Keywords：AI, Music, Instruments, Virtual''' //-https://www.example.com //-__[[相互評価シート>https://www.example.com]]__ ← ここからコメントをお願いします。 ~ ~ **概要 ***これは何？ //&color(red){これは何か・・を簡潔に}; 楽器音合成AIのデモバージョンです。 ~ ***やりたいこと 楽譜を入力すると、その楽譜を演奏しているかのような楽器音を合成してくれるAIを作りたい。 ~ ***背景と目的 //&color(red){プロジェクトの背景と目的}; 生演奏にはとてもコストがかかり、演奏者との繋がりなども必要だ。誰もが出来る環境にないにも関わらず、最終的な楽曲のクオリティには雲泥の差がある。 その差を埋めることができるようになる。 ~ ***コンセプト //&color(red){基本的な考え方、枠組み、視点など}; 誰もが生演奏に近い音を扱うことができるようになる楽器音合成AI ~ ***どうすればできるのか 楽譜と音を一緒に学習させます。 その学習済みのAIを使って演奏データ（合成された楽器音）の出力を行います。 #image(plan.jpg) ~ ***現状 本の通りやればうまくできた。 しかし、これは日本語と音声である。 これを楽譜と楽器音に変更する。 ~ ***問題点 楽譜や楽器音のデータを機械が扱いやすいようなデータに変換する必要がある。その作業を正規化と呼ぶ。その正規化がうまくできない。 ~ ***解決策 学習させるときの入力データの数を増やす。 ~ ***成果物の仕様 //&color(red){&small(成果物の形式・サイズ・時間尺等);}; -Google Collaboratoryで動作する学習済みモデル Google Collaboratoryで動作する学習済みモデル ~ //***メンバー //&color(red){共同プロジェクトの場合のみ｜メンバーと役割分担を明記}; //~ ***制作ツール //&color(red){使用するツール｜ハードウエア・ソフトウエア}; -Python -Logic Pro X ~ ***プロジェクトの期間 //&color(red){プロジェクトの期間｜20XX.XX.XX - 20XX.XX.XX }; 2024.04.09 - ~ ***まとめ //&color(red){プロジェクトが完結したら「まとめ」を記載して下さい。}; ~ ~ **調査 ***現状調査 //&color(red){プロジェクトのテーマに関わる社会の現状と問題の洗い出し}; -一般の利用者には理解しにくい専門用語や複雑な表現で満ちており、情報の理解やアクセスが制限されている状況。 -利用者とってわかりやすく作成することが必要。 ~ ***先行事例 //&color(red){プロジェクトのテーマに該当する先行事例の紹介、傾向分析など}; Melismaという楽器音合成AIがある。musicxml 形式の楽譜を入力するとヴァイオリンの音を合成してくれるAIである。中迫酒菜氏という作曲家の個人制作AIであるが、生演奏されたデータや現代の楽曲に頻出するフレーズを学習しているため、非常にクオリティの高いものとなっている。 -[[Melisma>https://kagura-music.jp/melisma-top]] --[[デモ音源>https://kagura-music.jp/melisma-inst-list]] -中迫酒菜 --[[X>https://x.com/nakazako]] -pythonで学ぶ音声合成 機械学習実践シリーズ --https://book.impress.co.jp/books/1120101073 ~ ***技法・技術情報 //&color(red){プロジェクトの遂行に必要な技法・技術に関する調査}; -Python ~ ~ **プロジェクト管理 ***スケジュール //&color(red){計画的な遂行のために、進行管理表を作成してリンクして下さい。}; ~ ***ToDo //&color(red){やるべきこと（タスク）を箇条書きにします。}; //&color(red){完了後は「%%取り消し線%%」あるいは「// コメントアウト」」}; -データの正規化についての研究 ~ ~ #hr CENTER:''進捗記録'' //&color(red){最新の情報を一番上に記載して下さい（古い記事が下へ沈む）。}; #hr ~ ~ **2024.04.30 -ロゴや名前があれば良い -もう一度本を読み返してみる -Tacotoronを一度日本語化していたが、そもそも日本語化する必要はないのでは？ ~ **2024.04.16 -テンソルサイズを揃えられた！やったぜ！ -npyの正規化できた！やったぜ！ -テンソルサイズを揃えなければならない。なぜできないのか分からない。 ~ **2024.04.09 -npyの正規化がうまくできない。沼にハマってしまった；； ~ ~ ~