Visual to Music
耳で聞いて、目で楽しめるアートワークの提案
概要
これは何？
- ビジュアルをもとに、複数のAI音楽生成モデルで生み出される音楽を聴けるWebサイト
背景
- 今日のデジタル化された世界において、人工知能（AI）は私たちの生活のあらゆる側面に深く浸透し、その影響は科学技術に留まらず、芸術やクリエイティブな領域においても顕著です。特に生成AIの進化は目覚ましく、テキスト、画像、そして音楽といった多岐にわたるコンテンツを創造する能力は、従来の創作プロセスに革新をもたらしています。
音楽制作の授業を受けた際に、DAWソフトや音楽理論の知識が必要という印象から、手を出しにくい分野と感じていた。専門的な知識、高価な機材、習得期間などが、生成AIの登場により、これらの障壁を大きく取り払えると考えた。
目的
- 本研究は、生成AIの最先端技術を応用し、ビジュアルから音楽への変換という新たな芸術体験を提供することで、人間とAIの知覚・感情の違いを探求し、AIと芸術の融合によって生まれる新たな可能性に触れ、クリエイティブな世界への好奇心を持ってもらいたい。
- 視覚から音楽へという新しい創作アプローチを発見できる
コンセプト
- Webサイトを通して、AIとの共創の可能性と、そこから生まれる新たな価値に考えてもらいたい。
- AI等の技術に注目される展示
成果物の仕様
メンバー
制作ツール
- illustrator
- Photoshop
- figma
- VisualStudioCode
プロジェクトの期間
まとめ
- Webサイトでより楽しめるデザインを考える必要がある。
- AIモデルの特徴やカテゴリー分けを詳細化する必要がある。
調査
現状調査
先行事例
技法・技術情報
プロジェクト管理
スケジュール
ガントチャート
ToDo
ガントチャート
ワイヤーフレーム
進捗記録
2025.07.11
2025.07.04
2025.06.27
2025.06.20
- 概要作成(使用資料）
- 概要集
- 実験方法まとめ
- 例えば
- color
- compositon
- Texture
- Size
- Effect
- Typography
などビジュアルの内容要素に変化
2025.06.06
- figmaデザイン制作
- HTMLコーディング
- CSSコーディング
2025.05.30
2025.05.23
ワイヤーフレーム(Smartphone)
2025.05.16
ワイヤーフレームPC
2025.05.09
試作はこちら
例:3.image-to-music-v2使用例
2025.05.02
- 1. Mubert AI (Image to Musicモードあり)
- 内容：画像の内容やタグからBGMを生成
- 商標不可 個人利用可能
- 制限：無料アカウントでは一部機能制限。ログイン必須。
URL：https://mubert.com
- 2. Melobytes (Image to Song)
2025.04.25
- テーマ決定
- ビジュアルからAIで音楽を生成し聴き比べできるアートワーク
- Webサイトにまとめ掲載
使うかもしれない技術
2025.04.18
テーマの有力候補
- 声の波形を使ったデザイン
- 波形
- 声を録音 → 波形を生成 → グラフィック素材にする
- 聴覚は記憶に残りにくい→波形にして視覚化
- アプリで声を集める→波形ギャラリー
- 作業工程表
- 声を地図データのようなグラフィックに置き換える
- 波形の色や形状で感情を表現
2025.04.11
テーマ案
- 視力が低い人が認知できるデザインの研究
- 心拍数や瞬きなどの身体から得る情報からノイズを生む
- 年齢によって感じる時間の流れの感じ方
- ゲーム内で学内ハザードマップのリアル体験
- 柄、材質に着目した触覚と視覚を感じれるアートワーク
- 声の波形を使ったデザイン
調査
- 音声波形
- ゲーム×ハザードマップ
- メモ
- 自分の声を「山脈」にして地形を生成。あるいは、都市の騒音データを地図に反映
