act 2(仮)
ミュージカルとAI、合成音声についての映像
メインビジュアル、あるいは
プロジェクトの最新の状態を視覚的に掲載
- 本田 麻緒
- Keywords：musical, AI, speech-synthesis
ホーム、0時32分台本
概要
これは何？
AIと人間の“創作・表現”の違いと可能性を比較・対話的に探る実験的ミュージカル作品
シナリオ・セリフ・作詞・作曲・歌唱など、各創作要素ごとに「AI生成」と「人間による創作」を対比させた短編ミュージカル映像
背景と目的
AIが作る表現はどこまで伝わるのか、人間の表現と何が違い、どこが似ているのかという問い
これに対し、言葉・歌・構成・感情の面からアプローチするために、「ミュージカル」という複合的な表現形式で比較・体験する
コンセプト
AIと人間の「創作の質的差異」を、ミュージカルという感情表現豊かなジャンルで可視化・体験化する
成果物の仕様
映像
ストーリーごとに分けて、6分くらいのものを対比分
もしくは、shorts動画でシリーズ化
制作ツール
- VRoid Studio
- blender
- Chat GPT
- Suno
- VOICEVOX
プロジェクトの期間
2025.04.09 - 2025.07.15
今後の予定
比較形式を、脚本だけでなく歌詞や歌唱、演者へと拡張する。
最終的には、AIと人間の創作が対立するのではなく、補い合いながら新たな表現を生み出せる可能性を探る方向でまとめる。
まとめ
調査
現状調査
- 音楽的感情表現付与による人間らしさの強化
- BGMによる感情表現を平坦な合成音声に加えた場合、「音楽がある方が優しい感じがして人間らしかった」「BGMがあった方が声を明るく感じたので人間らしく聞こえた」など、BGMがあることによって合成音声自体が明るく変化したように感じたという意見が得られた
- BGMによる感情表現を平坦な合成音声に加えた場合、「音楽がある方が優しい感じがして人間らしかった」「BGMがあった方が声を明るく感じたので人間らしく聞こえた」など、BGMがあることによって合成音声自体が明るく変化したように感じたという意見が得られた
先行事例
技法・技術情報
- プロンプトエンジニアリング
プロジェクト管理
スケジュール
ToDo
- 台本作成
- アバター作成
- アニメーション作成
- 録音
進捗記録
2025.05.20
memo
To Do
- シナリオ制作続き
- 人間が書くシナリオを1~3分ほどで考える
テーマ：見知らぬ者同士が出会い、別れていく一夜の物語
タイトル：ホーム、0時32分
台本
- AIが書くシナリオを1~3分ほどで出力してもらう
テーマ：見知らぬ者同士が出会い、別れていく一夜の物語
タイトル：ホーム、0時32分
2025.05.13
To Do
- シナリオテーマ案
- 感情表現の言葉選びが大事になる台本
- テーマ：記憶を失った人物が音や風景から自分を取り戻していく
タイトル：忘却の部屋
- テーマ：記憶を失った人物が音や風景から自分を取り戻していく
- 感情表現の言葉選びが大事になる台本
- テーマ：創作に取り憑かれた音楽家の孤独と内なる分裂
タイトル：鏡の向こうの旋律
- 見知らぬ者同士が出会い、別れていく一夜の物語
タイトル：ホーム、0時32分
「終電って、1日が終わる合図みたい…
私の1日、まだ終わってないのに。」
「終わりが嫌いかい？」
「独り言、拾わなくても…いや、そうですね。」
「今日、特別にいいことがあったわけじゃないんです。
でも、なんか、終わるのが惜しくて」
「惜しいと思える日って、案外、貴重かもよ。」
2025.04.29
制作方法検討
- 演者アバターはVRoid Studioで制作、アニメーションはblender or MAYA
できそうならVRC上にステージ作って実際に動くのがいいけど、トラッキングデバイス必須・相手も必要だから難しいかも
先行事例調査
- AI で創るオリジナルミュージカル
- AI を活用した脚本・演出の新作ミュージカル「AI-WRI-EN（エイリアン）」を製作・上演
- 比較はなさそう
- 合成音声を用いたミュージカルもまだなさそう
現状調査
- 音楽的感情表現付与による人間らしさの強化
- BGMによる感情表現を平坦な合成音声に加えた場合、「音楽がある方が優しい感じがして人間らしかった」「BGMがあった方が声を明るく感じたので人間らしく聞こえた」など、BGMがあることによって合成音声自体が明るく変化したように感じたという意見が得られた
- BGMやSEだけでなく擬音語も有効であった
→擬音語多めの台本があってもいいかもしれない
memo
AI vs 人間でシナリオを比べるときに、タイトルだけ入力して比べるか、ある程度のあらすじを伝えて出力してもらうか
プロンプトエンジニアリング（要検索）
https://aismiley.co.jp/ai_news/what-is-prompt-engineering/
条件指定した方が元に沿ったものになりやすい
登場人物の人数
脚本のフォーマット
Aさん「〜〜〜〜」
Bさん「〜〜〜〜〜〜」
出力方法の例
役割設定→あなたは脚本家です
脚本の長さ
自分の書いた脚本と同じくらいの文字数を指定したりとか
2025.04.22
テーマ検討
- ミュージカルの魅力を伝えたい
- 伝える方法：動画（YouTube）
作品の内容候補
- AIによるセリフと歌唱 VS人間（自身）によるセリフと歌唱
- AIによるシナリオ VS 人間（自身）によるシナリオ
- AIが書いた歌詞 VS 人間（自身）が書いた歌詞
- AIによるインスト VS 人間（自身）によるインスト
ストーリーテーマ案
- 『12時の階段』
舞台：とある古びた劇場の裏階段
ジャンル：幻想×並行世界
あらすじ：12時の鐘が鳴るとき、その階段には“叶えられなかった夢”を持つ人たちの影が現れる。
舞台女優志望の少女がその階段に迷い込み、過去の夢たちと出会いながら、自分の「選ばなかった未来」と向き合う。
- 『花嫁と影法師』
舞台：結婚式、湖畔の洋館
ジャンル：恋愛×ミステリー
あらすじ：結婚式の朝、花嫁の前に“過去の恋人の影”が現れる。
彼は誰にも見えない。式までの数時間、二人はもう一度言葉と歌を交わす。
最終的に花嫁は、「過去」か「未来」か、自分の意志で選ぶことになる。
- 『ウラオモテ商店街』
舞台：昼と夜で別の顔を持つ不思議な商店街
ジャンル：コメディ×ヒューマン
あらすじ：昼は普通の商店街、夜になると“本音”が出る奇妙な裏世界に変わる。
主役は新人の八百屋。昼と夜の店主たちを通して「働く意味」や「本音と建前」に気づいていく。
- 『月読みの舟』
舞台：月を読む巫女の一族の島
ジャンル：ファンタジー
あらすじ：「月の舟に乗った者は、生まれ変わる」と言われる島。
主人公は月巫女の跡継ぎだが、自分が“生まれ変わる必要がある存在”なのかに疑問を持つ。
夜ごとに歌で月を読む儀式をしながら、月と運命をめぐる旅に出る。
- 『エスカレーターの神様』
舞台：壊れたエスカレーター
ジャンル：現代寓話×成長
あらすじ：何かを諦めた人だけが見える「壊れたエスカレーター」に居る、“神様”を名乗る少年。
そこに出会った主人公は、壊れたステップを一段ずつ登ることで、自分の失った“夢と声”を取り戻していく。
memo
- 縦型short動画をたくさん作るのもアリじゃない？
- 1人ミュージカルになった時がどう演じ分けるのかとかも面白そう
- 一緒に演じるバージョンもありかも
2025.04.15
ガントチャート作成
テーマ案
- AI音声と人間が読み上げるセリフでの感情の感じ方について
→オリジナルの3~4分くらいの台本で演技する
memo
- 最初考えた「ミュージカル作品で体験する聴覚情報の必要性」にも繋げられそう
- ミュージカルの面白さも一緒に伝えたい
- 台本例
タイトル：「夢売りの夜」
登場人物：
ミナ（夢を見失いかけてる若者）
ユメヤ（夢を売る謎の人物）
ミナ
誰かに言われた。「夢ってのは、現実にならなきゃ、意味がない」って。 でも、夢って…そんなものだったっけ？
（ユメヤがゆっくり登場。シルクハットを被り、手にはランタンを持っている）
ユメヤ
♪夢をひとつ、いかがです？ 形はないけど、輝いてる 誰にも見えず、だけど確か ポケットの奥で踊ってる
的な。
- 歌の予定のところをセリフとして読んだ版もあったら、ミュージカルの面白みも伝わりそう
- 人間が演じてAI音声が聞こえると、そこで違和感があるかも
VRC内でアバターで演技できれば解消できる？
VR空間でのミュージカル公演が存在しているので、できなくはない
か、VRoid Studioでアバター作って3DCGアニメみたいにするか
どちらにしても時間がかなりかかりそう
ミュージカルアニメ、みたいな
2025.04.08
テーマ案
- Word Cascadeを有効活用する
- 現実とVRの境界線
- ミュージカルの面白さ(ノートルダムの鐘、ゴースト&レディ)
- ナンバーの楽しみ
- 言語の壁
- 舞台の仕組み→模型？
- ミュージカル作品で体験する聴覚情報の必要性→映像
- 料理初心者に優しい簡単に焼けるパンレシピ
現状調査
「Word Cascade」でアイディアを絞り出せ
VRとミュージカル（リトルプリンス）