研究題目：
音楽におけるモダリティの追求と楽器拡張の試作と評価
Musical Modality: The Development and Evaluations of Augmented Modality-based Music Systems
研究者：
米澤朋子(Tomoko Yonezawa)
研究の概要：
本研究は，新たな音楽の楽しみと新しい音楽のモダリティの追求を狙いとし，音楽における 接触を通じたインタラクションに焦点を置いたインタラクティブ・システムを構築し，楽器の 概念を拡張した，音楽を楽しむための新たなシステムを提案するものである．
計算機により実現された多くのインタラクティブ・システムの中で，音楽や音のインタラク ションを組み込んだシステムは，従来の音楽研究にまして盛んになりつつある．音楽の表現を 豊かにする目的において開発されるこうしたシステムは，現在の文化的芸術メディアを拡張し た新しい試みとしてとらえることができる．
本研究では，演奏・聴取を同時に楽しむパフォーマ─として，エンドユーザにも容易に操作で き，身体的直接操作感に訴えるインタフェースを提供するための3 つのシステムを設計・試作 した．また，試作したシステムにおいて音楽要素マッピングをそれぞれ構成し，評価を行った．
まず，カメラ入力型インタフェースを用いた非接触の音楽インタラクションにより，新たな モダリティを提供するシステム"Iamascope" を紹介する．筆者は音楽生成部の改良設計と実 装を行った．そして，非接触の入力による音楽インタラクティブ・システムの設計指針に関す る提案を行った．
次に流体との接触により新たな音楽のモダリティを提供するシステム"Tangible Sound #2" の提案と設計，実装，評価を行った．流体という対象を用いることで，独特な触覚を伴った， 新たな種類の接触における音楽モダリティが実現した．また，ユーザインタラクションを比較 し評価を行い， 本システムにおける水の触覚が重要であることを確かめた．
最後に，状況や文脈に応じ変化する音楽モダリティを提供する，センサぬいぐるみを用いた システム"Com Music" の試作と評価を行った．接触センサなど複数のセンサを内蔵したぬい ぐるみによる音楽インタラクティブ・システムを実現した．また，ぬいぐるみの内部状態に応 じてモードが変化するシステムにより，変化するモダリティの存在する音楽インタラクション を実現した．そして，モダリティの存在によるユーザインタラクションへの影響を評価する手 法を提案し，実施した．
そして，これらのシステムの設計と評価によって，楽器拡張により生まれる新たな音楽モダ リティの影響について明らかにした．
Abstract：
This research aims to propose new music interactive systems to extend a general idea of musical instruments. Speculating on the tactile interaction in music, I built interactive systems that provide new musical modality for a new kind of musical pleasure.
In the Field of music research, many systems using computers for sounds and music interaction have been introduced. These systems for enrichment of our music expressions can be considered as new experiments to extend existing methods of culture and arts.
In this research, I propose three music interactive systems, that provide a feeling of direct manipulation and easy controls of music. These systems aim to enable a beginner to enjoy being performer and audience at the same time. After building mappings of musical elements for each system, I evaluated these systems.
At First I extended a rst prototype of the "Iamascope" system by redesigning the musical com- ponents of the system. Iamascope is an interactive multimedia instrument using image captured by a camera, and it generates kaleidoscopic images and music by the movements of the performer without any tactile interaction. I investigate the musical modality of the music interaction with the non-tactile interface, and propose some guidelines for music interactive systems.
Next I propose a novel musical modality with tactile interaction by using uid media. The musical instrument, "Tangible Sound #2," uses the water ow both as an input medium and a metaphor of the owing sounds and music. It is considered that the unique tactile feeling of the water provides a new modality of music interaction. From the evaluation of user interaction, I conclude that the unique sense of touch is an important element for the musical modality in this system.
The last system proposes the musical modality which changes itself correspondent with con- texts. "Com-Music" is a music expression system which generates music by interaction between the user and a sensor-equipped doll. The doll has Five levels of interaction as pre-de ned contexts, that have di erent sets of music control mappings. I evaluate the user interaction of this system to discuss about the e ect upon user interaction from the musical modality correspondent with contexts.
Afterwords, I discuss the pleasure of musical and sound expression. I explain the new musical modality provided by the extention of musical instruments with the design and evaluation of these three systems.
発表論文：
- 米澤朋子, ブライアン・クラークソン, 安村通晃, 間瀬健二, 文脈に応じた音楽表現を伴うセンサぬいぐるみ, 情報処理学会 インタラクション2001, Interactive発表 (March 2001).
- 米澤朋子, 安村通晃, 間瀬健二, Tangible Sound: 流体を用いたインタラク ションによる音表現とその拡張, NICOGRAPH/MULTIMEDIA 論文コンテスト, 2000.
- 米澤朋子, 安村通晃, 流体による音表現 インスタレーション"Tangible Sound" より, 日本バーチャルリアリティ学会第４回大会, (Sept. 1999).
- 米澤朋子, 安村通晃, 音楽作曲とプログラミング： インスタレーション "Tangible Sound"より, 情報処理学会 夏のシンポジウム「21世紀の夢」, (Aug. 1999).
イメージ/ビデオ:
