本田麻緒/情報デザイン研究I

act 2

VRで演じるミュージカル映像

• 本田　麻緒
• Keywords：musical, VRChat, speech-synthesis

概要

これは何？

VRChat上での公演を想定した、ミュージカル作品の映像
1年を通して行う。

背景と目的

VRにおける表現活動の多様化
ミュージカル作品は未開拓

個人の創作のための新しい場所の提示
(VR空間なら少人数・少資本でも創作・上演が可能)

コンセプト

個人レベルの創作に光を当てる

成果物の仕様

前期

• アバター２体制作
• あらすじ、台本一部
• 予告映像のナレーション録音まで

今後(夏休み〜)

• 予告映像の制作(未完成)　1分20秒ほど
• 台本

後期
30分の映像1本撮影
1920×1080
YouTubeに投稿予定

制作ツール

• Chat GPT
• VRoid Studio
• (Suno)
• (VOICEVOX)
  
  

プロジェクトの期間

2025.04.09 -

まとめ

「ミュージカル＝大人数で行うもの」という常識に対し、VR空間を活用することで、少人数・低資本でも実現可能な新しい舞台表現を提示することを目的としている。

現時点では、アバターの最適化やツール選定など、技術的な試行錯誤が続いており、当初予定していた予告映像の完成には至っていない。

しかし、映像の撮影・編集方法の研究や、AIとの共同による脚本づくり、ナレーション録音・生成など、複数の表現技法へのアプローチを試みており、後期でスムーズに撮影に向けた基盤は整えられてきたと思われる。

今後は、VRならではの身体性や没入感を活かしたミュージカル映像の完成を目指していきたい。

調査

現状調査

舞台やミュージカルは人数がいないとできないのが現状
1人2人の少人数でも作品公開ができる場所、方法を考える

先行事例

VRミュージカルwish
↑メインはclusterで活動してる
FZMZ
↑バンド。ライブのティザー映像

技法・技術情報

• プロンプトエンジニアリング
  
  
  
  

プロジェクト管理

スケジュール

情報デザイン研究I_チャート

ToDo

• アバター作成
• あらすじ書き
• 台本作成
• 撮影
• 編集
  
  

2025.07.01

テクスチャバグが起きたので、描き直しが必要そう

2025.06.24

To Do

• アバターアップロードでエラーが発生したので原因探し→最適化できてないだけだったので必要なものだけ残す作業
  有志者のツール使用

• ナレーション録音
• 予告撮影（VRChat上で撮影）　25~27日
• 編集　28~29日

2025.06.17

• 台本（始まりと終わりは出来た。）
  
  https://ksumail-my.sharepoint.com/:w:/g/personal/k23as604_st_kyusan-u_ac_jp/EafmVdGmYplAsQor6ZC1JGcBfQ0NFLQINztYVMTh69oPTg?e=cqlqOQ

2025.06.10

To Do

• VRoid Studioにてアバターを作る(もう1人)
  
  
  

idea

全部混合して、台本・歌詞・音楽は共同制作という立ち位置

なぜAIと共同制作する？
アイデアは思いついているけれど、それを文章化するのが苦手・音楽を作るところがネック、という人たちにこういう手段もあるよ！だから作ってみようよ！と言いたい。自主制作ミュージカル増えろ。

登場人物2人で、1人合成音声、1人人間

アニメミュージカルを選ぶ理由にもなる

3分弱複数本予定▶︎長めの1本

一度比較を挟まなくても、どこでAIが活用できるか分かるのではないだろうか？

VRChatで実際に動いてるところを撮る

登場人物2人ならVRChatでできなくはないし、実際に演じる場所も作れることを見せたいし、個人的にVRChatでやりたい。

2025.06.03

VRoid Studioの知的財産権の帰属を確認する

本ソフトウェアを利用して作成されたアバター、アイテムその他の3Dモデルに関する著作権その他の権利は、当該モデルを創作したユーザーに帰属します。

VRoid Studioにてアバターを作る(2人)

1人完成→修正

Blenderに外部アドオン「VRM IMPORTER」をインポートする

2025.05.27

シナリオ(AI)の出力について再度調べる

https://note.com/ume_nanminchamp/n/n1ca8f49b8798

参考により詳細に検索するのもアリかもしれません。ChatGPTが、ひとりだとちょっとたどり着くのに時間がかかる専門用語をさくっと教えてくれるのはすごく便利。

テーマの再検討

比較すると言っても、指示を出す人間がいないとAIは出力できない。
やりたい事
最終的には手分けできるラインを見つけて、合同制作のようなことがやりたい。
アニメミュージカルに重きを置いて、その制作にAIを使うのもいいよ！みたいなところでもいい。
そしたら適材適所、AIとの作品制作の可能性でできるかも。

長めの映像1本にする？

2025.05.20

シナリオ制作続き

• 人間が書くシナリオを1~3分ほどで考える
  テーマ：見知らぬ者同士が出会い、別れていく一夜の物語
  タイトル：ホーム、0時32分

• AIが書くシナリオを1~3分ほどで出力してもらう

• できたものがこちら(自作は歌唱パート未完成)
  台本

memo

1回目はシナリオ比較だから、演者は統一
4パターン作るのもありかな？
人間×自作、人間×AI、機械音声×自作、機械音声×AI
同じ台本を2回も見るのは飽きるかも

2025.05.13

シナリオテーマ案

• 感情表現の言葉選びが大事になる台本
  • テーマ：記憶を失った人物が音や風景から自分を取り戻していく
    タイトル：忘却の部屋

• テーマ：創作に取り憑かれた音楽家の孤独と内なる分裂
  タイトル：鏡の向こうの旋律

• 見知らぬ者同士が出会い、別れていく一夜の物語
  タイトル：ホーム、0時32分
  「終電って、1日が終わる合図みたい…
  　私の1日、まだ終わってないのに。」
  　　　「終わりが嫌いかい？」
  「独り言、拾わなくても…いや、そうですね。」
  「今日、特別にいいことがあったわけじゃないんです。
  　でも、なんか、終わるのが惜しくて」
  　　　「惜しいと思える日って、案外、貴重かもよ。」

2025.04.29

制作方法検討

• 演者アバターはVRoid Studioで制作、アニメーションはblender or MAYA
  できそうならVRC上にステージ作って実際に動くのがいいけど、トラッキングデバイス必須・相手も必要だから難しいかも
  
  

先行事例調査

• AI で創るオリジナルミュージカル
  • AI を活用した脚本・演出の新作ミュージカル「AI-WRI-EN（エイリアン）」を製作・上演
• 比較はなさそう
• 合成音声を用いたミュージカルもまだなさそう
  
  

現状調査

• 音楽的感情表現付与による人間らしさの強化
  • BGMによる感情表現を平坦な合成音声に加えた場合、「音楽がある方が優しい感じがして人間らしかった」「BGMがあった方が声を明るく感じたので人間らしく聞こえた」など、BGMがあることによって合成音声自体が明るく変化したように感じたという意見が得られた
  • BGMやSEだけでなく擬音語も有効であった
    →擬音語多めの台本があってもいいかもしれない
    
    

memo

AI vs 人間でシナリオを比べるときに、タイトルだけ入力して比べるか、ある程度のあらすじを伝えて出力してもらうか


プロンプトエンジニアリング（要検索）
https://aismiley.co.jp/ai_news/what-is-prompt-engineering/
条件指定した方が元に沿ったものになりやすい

登場人物の人数
脚本のフォーマット
Aさん「〜〜〜〜」
Bさん「〜〜〜〜〜〜」

出力方法の例
役割設定→あなたは脚本家です

脚本の長さ
自分の書いた脚本と同じくらいの文字数を指定したりとか

2025.04.22

テーマ検討

• ミュージカルの魅力を伝えたい
• 伝える方法：動画（YouTube）
  
  

作品の内容候補

• AIによるセリフと歌唱 VS人間（自身）によるセリフと歌唱
• AIによるシナリオ VS 人間（自身）によるシナリオ
• AIが書いた歌詞 VS 人間（自身）が書いた歌詞
• AIによるインスト VS 人間（自身）によるインスト
  
  

ストーリーテーマ案

• 『12時の階段』
  舞台：とある古びた劇場の裏階段
  ジャンル：幻想×並行世界
  あらすじ：12時の鐘が鳴るとき、その階段には“叶えられなかった夢”を持つ人たちの影が現れる。
  舞台女優志望の少女がその階段に迷い込み、過去の夢たちと出会いながら、自分の「選ばなかった未来」と向き合う。

• 『花嫁と影法師』
  舞台：結婚式、湖畔の洋館
  ジャンル：恋愛×ミステリー
  あらすじ：結婚式の朝、花嫁の前に“過去の恋人の影”が現れる。
  彼は誰にも見えない。式までの数時間、二人はもう一度言葉と歌を交わす。
  最終的に花嫁は、「過去」か「未来」か、自分の意志で選ぶことになる。

• 『ウラオモテ商店街』
  舞台：昼と夜で別の顔を持つ不思議な商店街
  ジャンル：コメディ×ヒューマン
  あらすじ：昼は普通の商店街、夜になると“本音”が出る奇妙な裏世界に変わる。
  主役は新人の八百屋。昼と夜の店主たちを通して「働く意味」や「本音と建前」に気づいていく。

• 『月読みの舟』
  舞台：月を読む巫女の一族の島
  ジャンル：ファンタジー
  あらすじ：「月の舟に乗った者は、生まれ変わる」と言われる島。
  主人公は月巫女の跡継ぎだが、自分が“生まれ変わる必要がある存在”なのかに疑問を持つ。
  夜ごとに歌で月を読む儀式をしながら、月と運命をめぐる旅に出る。

• 『エスカレーターの神様』
  舞台：壊れたエスカレーター
  ジャンル：現代寓話×成長
  あらすじ：何かを諦めた人だけが見える「壊れたエスカレーター」に居る、“神様”を名乗る少年。
  そこに出会った主人公は、壊れたステップを一段ずつ登ることで、自分の失った“夢と声”を取り戻していく。
  
  

memo

• 縦型short動画をたくさん作るのもアリじゃない？
• 1人ミュージカルになった時がどう演じ分けるのかとかも面白そう
• 一緒に演じるバージョンもありかも
  
  

2025.04.15

ガントチャート作成

• 情報デザイン研究I_チャート
  
  

テーマ案

• AI音声と人間が読み上げるセリフでの感情の感じ方について
  →オリジナルの3~4分くらいの台本で演技する
  
  

memo

• 最初考えた「ミュージカル作品で体験する聴覚情報の必要性」にも繋げられそう
• ミュージカルの面白さも一緒に伝えたい

• 台本例
  タイトル：「夢売りの夜」
  登場人物：
  ミナ（夢を見失いかけてる若者）
  ユメヤ（夢を売る謎の人物）
  ミナ
  誰かに言われた。「夢ってのは、現実にならなきゃ、意味がない」って。
でも、夢って…そんなものだったっけ？
  （ユメヤがゆっくり登場。シルクハットを被り、手にはランタンを持っている）
  ユメヤ
  ♪夢をひとつ、いかがです？
　形はないけど、輝いてる
　誰にも見えず、だけど確か
　ポケットの奥で踊ってる

的な。

• 歌の予定のところをセリフとして読んだ版もあったら、ミュージカルの面白みも伝わりそう
• 人間が演じてAI音声が聞こえると、そこで違和感があるかも
  VRC内でアバターで演技できれば解消できる？
  VR空間でのミュージカル公演が存在しているので、できなくはない
  か、VRoid Studioでアバター作って3DCGアニメみたいにするか
  どちらにしても時間がかなりかかりそう
  ミュージカルアニメ、みたいな
  
  

2025.04.08

テーマ案

• Word Cascadeを有効活用する
• 現実とVRの境界線
• ミュージカルの面白さ(ノートルダムの鐘、ゴースト&レディ)
  • ナンバーの楽しみ
  • 言語の壁
  • 舞台の仕組み→模型？
  • ミュージカル作品で体験する聴覚情報の必要性→映像
• 料理初心者に優しい簡単に焼けるパンレシピ
  
  

現状調査

「Word Cascade」でアイディアを絞り出せ
VRとミュージカル（リトルプリンス）