ピアニストの「タッチ」が音色を変えることを科学的に解明

～高精度センサーとデータサイエンスと心理物理実験により、巧緻な動作と高次の知覚の関係を解明～

一般社団法人NeuroPiano

2025年9月24日 11時00分

ポイント

ピアノの音色が奏者の意図した通り変化し得るかは100年以上解明されてこなかった。
1秒間に1000コマで鍵盤の位置を計測できる独自開発の非接触センサーを用いて、プロピアニストが様々な音色で演奏した際の鍵盤の動きを計測。
データサイエンスと心理物理実験により、演奏者が意図した音色がピアノ演奏経験の有無に関わらず、聴き手に知覚されることが明らかになった。
鍵盤の動きの特定の特徴のみ異なる打鍵が生み出す音は、異なる音色に知覚されることから、鍵盤の動きと音色の間の因果関係が同定された。

　一般社団法人NeuroPianoおよび株式会社ソニーコンピュータサイエンス研究所の古屋晋一博士らのグループは、ピアニストの鍵盤操作がピアノの音色を変化させることを初めて科学的に明らかにした研究成果を発表しました。絵画や音楽といった芸術における創造性は、鑑賞者に多彩な知覚体験を生み出す能力に支えられています。しかし、楽器演奏において、音色がはたして変えられるのか、そのためにはどのような身体運動技能が必要かは、明らかにされていませんでした。

　研究グループは、ピアノの鍵盤の動きを1秒間に1000コマの時間分解能で計測できる独自のセンサーシステムを開発し、プロピアニストらが様々な音色をピアノで表現している際の鍵盤の動きを計測しました。その結果、ピアニストが意図した音色は、ピアノ演奏訓練の経験の有無にかかわらず、聴取者が聴き分けることができることが明らかになりました。さらに、音色の違いを生み出す鍵盤の動きの特徴を同定することにも成功しました。

　この発見は「ピアニストはタッチによって音色を変えられるのか？」という、100年以上未解決の問いに対して、ピアニストが培ってきた「タッチによる音色操作」が、単なる感覚的な比喩ではなく科学的に裏付けられた技能であることを示しました。本研究成果は、音色を生み出す具体的な動きの特徴を可視化・指導できる可能性が開け、効率的な練習や誤学習の予防につながります。また、高度な身体運動制御が芸術的知覚を形作ることを明らかにし、リハビリテーション、技能伝承、さらにはヒューマンインターフェース設計など多分野への応用が期待されます。

　本研究成果は、２０２５年９月２２日（米国東部時間）に国際科学誌「米国科学誌 Proceedings of the National Academy of Sciences (PNAS)」で公開されます。

本成果は、以下の事業・研究領域・研究課題によって得られました。　

ＪＳＴ戦略的創造研究推進事業チーム型研究（ＣＲＥＳＴ）

研究領域：「信頼されるAIシステムを支える基盤技術」

（研究総括：相澤彰子　情報・システム研究機構国立情報学研究所　教授）

研究課題名：「信頼されるExplorable推薦基盤技術の実現」

研究代表者：後藤真孝（産業技術総合研究所　上級首席研究員）

研究期間：令和２年１０月～令和８年３月

ムーンショット型研究開発制度（ＭＯＯＮＳＨＯＴ）

研究領域：「2050年までに、人が身体、脳、空間、時間の制約から解放された社会を実現」

（研究総括：萩田紀博　大阪芸術大学芸術学部アートサイエンス学科学科長・教授）

研究課題名：「身体的能力と知覚能力の拡張による身体の制約からの解放」

研究代表者：金井良太（株式会社　アラヤ）

研究期間：令和２年１０月～令和８年３月

＜研究の背景と経緯＞

　音楽家をはじめとするパフォーミングアーティスト、外科医、伝統工芸の職人など、さまざまな分野でエキスパートと呼ばれる熟練者の技能は、長年にわたる膨大なトレーニングを経て獲得されます。特に、パフォーミングアートにおける創造性を具現化する上で、多彩な知覚を生み出す身体運動技能を習得することは不可欠と考えられてきました。例えば、楽器演奏において音の高さや大きさは明らかに楽器操作に依存しますが、「同じ楽器の音のはずなのに違う音色に聴こえる」ことは、演奏者や教育者の間で広く信じられていたものの、科学的証拠は存在しませんでした。ピアノを題材としたこの問いは20世紀初めにNature誌でも議論されていますが、体系立てられた知覚実験やデータ分析はこれまで実施されておらず、その真否は未知でした。そのため、多彩な表現を生み出す技能を習得する術が未知であり、その過程で自分の能力の限界を誤認識する問題や、技能習得のためのトレーニングの過程で怪我や障害を発症し得る問題は、未解決のままでした。適切なトレーニング方法を人やシステムが推薦し、その推薦結果が学習者や指導者に信頼されるためには、エビデンスに基づいた技能の仕組みの理解が不可欠です。

＜研究の内容＞

　一般社団法人NeuroPianoとソニーコンピュータサイエンス研究所の研究チームは、ピアニストが意図した音色が聴取者に伝わること、その背景には高精度な指先の動きの制御が関わっていることを明らかにしました。

　研究グループは独自開発した高精度非接触センサー「Hackkey」を用い、1秒間に1000コマ（1ミリ秒精度）で88鍵すべての動きを0.01 mm単位で計測しました。この装置により、国際的に著名な実績を有するピアニスト20名が「明るい／暗い」「軽い／重い」といった多様な音色を意図して演奏した際の鍵盤の動きを解析しました。

　さらに、得られた演奏音を用いた心理物理実験を行い、ピアニストと音楽未経験者計40名に聴取してもらいました。その結果、演奏者が意図した音色は、聴き手の音楽経験に関わらず一貫して知覚されることが明らかになりました。特にピアニストは音色の違いをより敏感に聴き分けられました。この音色の聴き分けは、従来音色知覚に影響を及ぼすと考えられてきた音量やテンポを統制した上でも、可能であることが明らかになりました。

　線形混合効果モデルによるデータ解析の結果、音色の違いに寄与するのは限られた運動特徴（例：エスケープメント時の加速度、両手の同期のずれ）に集約されることが判明しました。さらに、特徴の一つだけを変化させて演奏した音は、聴き手に異なる音色として知覚されることが実験的に確認され、鍵盤の動きと音色の間に因果関係が存在することが初めて実証されました

この成果は、音楽家や教育者にとって次のような意義を持ちます。

アーティストの創造性を支援する技術基盤の構築：本研究は、ピアニストがどのように音色を作り出すかという「暗黙知」を定量化するものであり、芸術家の表現意図を理解し、それを最大限に引き出す新たな教育法やテクノロジーの開発につながります。また、アーティストが培ってきた「タッチによる音色操作」が、単なる感覚的な比喩ではなく科学的に裏付けられた技能であることが実証されたことから、例えば、学習者に対して適切な運動特徴を提示する推薦システムに応用することで、従来の指導では言語化が難しかった音色表現の創出技能を効率的に習得できる可能性があります。
高次知覚を生み出す生体メカニズムの解明：　「同じ音なのに違うように聴こえる」という現象は、人間の感覚系と運動系の高度な統合を示しています。本研究は、微細な運動制御がいかにして高次の知覚や美的体験を生み出すかを明らかにするものであり、神経科学・心理学・芸術学の融合領域において新たな研究の道を拓きます。また、技能伝承、リハビリテーション、さらにはヒューマンインターフェース設計など多分野への応用が期待されます。

＜今後の展開＞

　今回の研究によって、鍵盤の動きの特徴と、ピアノの音色との関係が明らかになり、多彩な知覚のパレットを生み出す動きのレパートリーを明示的に習得可能な可能性が示唆されました。これは、パフォーミングアートにおける身体教育において、エビデンスに基づいた身体の使い方や練習法を推薦し、指導者や学習者が信頼感を持った上で学びを進める上で不可欠です。これまで知覚研究は、音の高さや大きさ、リズムなどの低次の知覚情報を対象にした研究が主体となっていましたが、今後は音色をはじめとする高次の知覚情報を対象とした研究が進み、背後にある脳の情報処理のメカニズムの解明や、先進技術を用巧みに利用したトレーニングの開発が進んでいくことが期待されます。また、自らの身体を用いて上達し、できないことができるようになる感動は、楽器演奏に限らず、スポーツや料理、絵画や外科手術など、様々な分野で共通しています。本研究成果は、多分野へ波及効果を生み出すことが期待されます。

　音楽の学びは、スポーツや医療に比べると、サイエンスやテクノロジーの介入が大幅に遅れています。そのため、芸術性や創造性を具現化する上で、心身の制約に苦しむ問題に、洋の東西を問わず、多くのアーティストが悩んできました。本研究成果が提供する「多彩な表現を生み出す基盤技能」に関する知見は、音楽演奏の科学（ダイナフォーミックス）のエビデンスに基づく新しい音楽教育の確立を通して、アーティストが心身の制約から解放されて創造性を具現化する未来社会の創生に貢献します。

＜参考図＞