研究概要：音楽情報処理と身体機能の融合によるアンサンブル演奏システム
キーワード：Human-Computer Interaction、Human Augmentation、音楽理論 GTTM、メロディモーフィング、筋電気刺激
音楽情報処理と身体機能の融合が未来の音楽表現を開拓する。本研究では、演奏者の未来の演奏のコントロールを可能とするインタラクティブなアンサンブル演奏システムの開発を目指しています。このシステムは、メロディをモーフィングする手法を用いて作編曲された楽曲を筋電気刺激 Electrical Muscle Stimulation (EMS) に変換し、手指や足に装着したデバイスによって複数の演奏者の身体動作を同期・制御し、演奏を達成するものです。演奏するメロディのバリエーションは、人が音楽を聴取する知能の仕組みを形式化した理論である Generative Theory of Tonal Music (GTTM) に基づいて作曲され、複数のメロディのセグメントを自由に操作することで、メロディの全体的な構造を保持したまま、装飾音のみを変化させることができます。これまでの音楽構造分析の研究で得られた知見を、Human-Computer Interaction (HCI) および人間拡張 (Human Augmentation)、そして実世界パフォーマンスへ展開することで、人と音楽とのインタラクション、それによって生まれる演奏体験のあり方に新たな可能性を見出すことが期待できます。
ACM CHI'22 での発表デモ動画 (2022年5月)
主要な発表リスト
Hiroya Miura and Masatoshi Hamanaka, Deep Augmented Performers: A New Ensemble Performance System by Fusion of Melody Morphing and Body Movements, In Proceedings of the 34th Annual ACM Symposium on User Interface Software and Technology (UIST’21 Adjunct), ACM, New York, NY, USA, pp.129-130 (October 2021).
三浦寛也, 浜中雅俊, Deep Augmented Performers: メロディモーフィングと身体機能の融合によるアンサンブル演奏システム, 情報処理学会 音楽情報科学研究会, 2021-MUS-132, No.4 (2021年9月).
Hiroya Miura and Masatoshi Hamanaka, Augmented Percussionists: A New Musical Experience by Fusion of Melody Morphing and Electrical Muscle Stimulation, In Proceedings of the 12th Augmented Human International Conference (AH’21), ACM, New York, NY, USA, No.14, pp.1-2 (May 2021).