本田麻緒/情報デザイン研究I

act 2(仮)

VRで演じるミュージカル映像

 

            メインビジュアル、あるいは
            プロジェクトの最新の状態を視覚的に掲載

  

• 本田　麻緒
• Keywords：musical, AI, speech-synthesis

概要

これは何？

VRChat上での公演を想定した、ミュージカル作品の映像

背景と目的

コンセプト

成果物の仕様

30~45分の映像1本
1920×1080
YouTubeに投稿予定

制作ツール

• Chat GPT
• VRoid Studio
• (Suno)
• (VOICEVOX)
  
  

プロジェクトの期間

2025.04.09 -

まとめ

調査

現状調査

先行事例

• 音楽的感情表現付与による人間らしさの強化
  • BGMによる感情表現を平坦な合成音声に加えた場合、「音楽がある方が優しい感じがして人間らしかった」「BGMがあった方が声を明るく感じたので人間らしく聞こえた」など、BGMがあることによって合成音声自体が明るく変化したように感じたという意見が得られた
    
    

技法・技術情報

• プロンプトエンジニアリング
  
  
  
  

プロジェクト管理

スケジュール

情報デザイン研究I_チャート

ToDo

• 台本作成
• アバター作成
• アニメーション作成
• 録音
• タイトル
  
  

2025.06.10

To Do

• VRoid Studioにてアバターを作る(もう1人)

idea

全部混合して、台本・歌詞・音楽は共同制作という立ち位置

なぜAIと共同制作する？
アイデアは思いついているけれど、それを文章化するのが苦手・音楽を作るところがネック、という人たちにこういう手段もあるよ！だから作ってみようよ！と言いたい。自主制作ミュージカル増えろ。

登場人物2人で、1人合成音声、1人人間

アニメミュージカルを選ぶ理由にもなる

3分弱複数本予定▶︎長めの1本

一度比較を挟まなくても、どこでAIが活用できるか分かるのではないだろうか？

VRChatで実際に動いてるところを撮る

登場人物2人ならVRChatでできなくはないし、実際に演じる場所も作れることを見せたいし、個人的にVRChatでやりたい。

2025.06.03

VRoid Studioの知的財産権の帰属を確認する

本ソフトウェアを利用して作成されたアバター、アイテムその他の3Dモデルに関する著作権その他の権利は、当該モデルを創作したユーザーに帰属します。

VRoid Studioにてアバターを作る(2人)

1人完成

Blenderに外部アドオン「VRM IMPORTER」をインポートする

2025.05.27

シナリオ(AI)の出力について再度調べる

https://note.com/ume_nanminchamp/n/n1ca8f49b8798

参考により詳細に検索するのもアリかもしれません。ChatGPTが、ひとりだとちょっとたどり着くのに時間がかかる専門用語をさくっと教えてくれるのはすごく便利。

テーマの再検討

比較すると言っても、指示を出す人間がいないとAIは出力できない。
やりたい事
最終的には手分けできるラインを見つけて、合同制作のようなことがやりたい。
アニメミュージカルに重きを置いて、その制作にAIを使うのもいいよ！みたいなところでもいい。
そしたら適材適所、AIとの作品制作の可能性でできるかも。

長めの映像1本にする？

2025.05.20

シナリオ制作続き

• 人間が書くシナリオを1~3分ほどで考える
  テーマ：見知らぬ者同士が出会い、別れていく一夜の物語
  タイトル：ホーム、0時32分

• AIが書くシナリオを1~3分ほどで出力してもらう

• できたものがこちら(自作は歌唱パート未完成)
  台本

memo

1回目はシナリオ比較だから、演者は統一
4パターン作るのもありかな？
人間×自作、人間×AI、機械音声×自作、機械音声×AI
同じ台本を2回も見るのは飽きるかも

2025.05.13

シナリオテーマ案

• 感情表現の言葉選びが大事になる台本
  • テーマ：記憶を失った人物が音や風景から自分を取り戻していく
    タイトル：忘却の部屋

• テーマ：創作に取り憑かれた音楽家の孤独と内なる分裂
  タイトル：鏡の向こうの旋律

• 見知らぬ者同士が出会い、別れていく一夜の物語
  タイトル：ホーム、0時32分
  「終電って、1日が終わる合図みたい…
  　私の1日、まだ終わってないのに。」
  　　　「終わりが嫌いかい？」
  「独り言、拾わなくても…いや、そうですね。」
  「今日、特別にいいことがあったわけじゃないんです。
  　でも、なんか、終わるのが惜しくて」
  　　　「惜しいと思える日って、案外、貴重かもよ。」

2025.04.29

制作方法検討

• 演者アバターはVRoid Studioで制作、アニメーションはblender or MAYA
  できそうならVRC上にステージ作って実際に動くのがいいけど、トラッキングデバイス必須・相手も必要だから難しいかも
  
  

先行事例調査

• AI で創るオリジナルミュージカル
  • AI を活用した脚本・演出の新作ミュージカル「AI-WRI-EN（エイリアン）」を製作・上演
• 比較はなさそう
• 合成音声を用いたミュージカルもまだなさそう
  
  

現状調査

• 音楽的感情表現付与による人間らしさの強化
  • BGMによる感情表現を平坦な合成音声に加えた場合、「音楽がある方が優しい感じがして人間らしかった」「BGMがあった方が声を明るく感じたので人間らしく聞こえた」など、BGMがあることによって合成音声自体が明るく変化したように感じたという意見が得られた
  • BGMやSEだけでなく擬音語も有効であった
    →擬音語多めの台本があってもいいかもしれない
    
    

memo

AI vs 人間でシナリオを比べるときに、タイトルだけ入力して比べるか、ある程度のあらすじを伝えて出力してもらうか


プロンプトエンジニアリング（要検索）
https://aismiley.co.jp/ai_news/what-is-prompt-engineering/
条件指定した方が元に沿ったものになりやすい

登場人物の人数
脚本のフォーマット
Aさん「〜〜〜〜」
Bさん「〜〜〜〜〜〜」

出力方法の例
役割設定→あなたは脚本家です

脚本の長さ
自分の書いた脚本と同じくらいの文字数を指定したりとか

2025.04.22

テーマ検討

• ミュージカルの魅力を伝えたい
• 伝える方法：動画（YouTube）
  
  

作品の内容候補

• AIによるセリフと歌唱 VS人間（自身）によるセリフと歌唱
• AIによるシナリオ VS 人間（自身）によるシナリオ
• AIが書いた歌詞 VS 人間（自身）が書いた歌詞
• AIによるインスト VS 人間（自身）によるインスト
  
  

ストーリーテーマ案

• 『12時の階段』
  舞台：とある古びた劇場の裏階段
  ジャンル：幻想×並行世界
  あらすじ：12時の鐘が鳴るとき、その階段には“叶えられなかった夢”を持つ人たちの影が現れる。
  舞台女優志望の少女がその階段に迷い込み、過去の夢たちと出会いながら、自分の「選ばなかった未来」と向き合う。

• 『花嫁と影法師』
  舞台：結婚式、湖畔の洋館
  ジャンル：恋愛×ミステリー
  あらすじ：結婚式の朝、花嫁の前に“過去の恋人の影”が現れる。
  彼は誰にも見えない。式までの数時間、二人はもう一度言葉と歌を交わす。
  最終的に花嫁は、「過去」か「未来」か、自分の意志で選ぶことになる。

• 『ウラオモテ商店街』
  舞台：昼と夜で別の顔を持つ不思議な商店街
  ジャンル：コメディ×ヒューマン
  あらすじ：昼は普通の商店街、夜になると“本音”が出る奇妙な裏世界に変わる。
  主役は新人の八百屋。昼と夜の店主たちを通して「働く意味」や「本音と建前」に気づいていく。

• 『月読みの舟』
  舞台：月を読む巫女の一族の島
  ジャンル：ファンタジー
  あらすじ：「月の舟に乗った者は、生まれ変わる」と言われる島。
  主人公は月巫女の跡継ぎだが、自分が“生まれ変わる必要がある存在”なのかに疑問を持つ。
  夜ごとに歌で月を読む儀式をしながら、月と運命をめぐる旅に出る。

• 『エスカレーターの神様』
  舞台：壊れたエスカレーター
  ジャンル：現代寓話×成長
  あらすじ：何かを諦めた人だけが見える「壊れたエスカレーター」に居る、“神様”を名乗る少年。
  そこに出会った主人公は、壊れたステップを一段ずつ登ることで、自分の失った“夢と声”を取り戻していく。
  
  

memo

• 縦型short動画をたくさん作るのもアリじゃない？
• 1人ミュージカルになった時がどう演じ分けるのかとかも面白そう
• 一緒に演じるバージョンもありかも
  
  

2025.04.15

ガントチャート作成

• 情報デザイン研究I_チャート
  
  

テーマ案

• AI音声と人間が読み上げるセリフでの感情の感じ方について
  →オリジナルの3~4分くらいの台本で演技する
  
  

memo

• 最初考えた「ミュージカル作品で体験する聴覚情報の必要性」にも繋げられそう
• ミュージカルの面白さも一緒に伝えたい

• 台本例
  タイトル：「夢売りの夜」
  登場人物：
  ミナ（夢を見失いかけてる若者）
  ユメヤ（夢を売る謎の人物）
  ミナ
  誰かに言われた。「夢ってのは、現実にならなきゃ、意味がない」って。
でも、夢って…そんなものだったっけ？
  （ユメヤがゆっくり登場。シルクハットを被り、手にはランタンを持っている）
  ユメヤ
  ♪夢をひとつ、いかがです？
　形はないけど、輝いてる
　誰にも見えず、だけど確か
　ポケットの奥で踊ってる

的な。

• 歌の予定のところをセリフとして読んだ版もあったら、ミュージカルの面白みも伝わりそう
• 人間が演じてAI音声が聞こえると、そこで違和感があるかも
  VRC内でアバターで演技できれば解消できる？
  VR空間でのミュージカル公演が存在しているので、できなくはない
  か、VRoid Studioでアバター作って3DCGアニメみたいにするか
  どちらにしても時間がかなりかかりそう
  ミュージカルアニメ、みたいな
  
  

2025.04.08

テーマ案

• Word Cascadeを有効活用する
• 現実とVRの境界線
• ミュージカルの面白さ(ノートルダムの鐘、ゴースト&レディ)
  • ナンバーの楽しみ
  • 言語の壁
  • 舞台の仕組み→模型？
  • ミュージカル作品で体験する聴覚情報の必要性→映像
• 料理初心者に優しい簡単に焼けるパンレシピ
  
  

現状調査

「Word Cascade」でアイディアを絞り出せ
VRとミュージカル（リトルプリンス）