IT技術と芸術との融合

 

源氏絵研究の推進のために源氏絵データベースの整備を恵泉女学園大学稲本万里子教授と進めています。2017年度より科研基盤B「オントロジーに基づく源氏絵データベースを共有・活用した源氏絵の総合研究(代表稲本万里子)」に連携研究者として参加しています。

研究目標

IT技術と芸術との融合による新規研究領域の開拓

背景

北陸先端科学技術大学院大学知識科学研究科に在籍中に知識科学の観点から芸術系の学生を指導する機会(修士課程)がありました。卒業生にはその後学位を取得してアカデミックポジションで活躍している人もいます(豊田喜代美大島千佳)。芸術と科学(工学、情報学)という異分野が融合することにより今までに全くない新しい研究を創発することが楽しみで研究を進めています。

研究テーマ

  • 源氏絵オントロジーの研究
  • 深層学習を用いた源氏絵の分析
  • 仮想現実(VR)を用いた時代屏風の再現

源氏絵オントロジーの研究

源氏絵は源氏物語全54巻の展開に重要な場面や挿話を絵画化したもので、登場人物、背景、小物などからどの場面かを特定できる。源氏絵を構成する要素の関係をオントロジーとして体系化することで源氏絵を計算機が「理解」できるようになることを目指す。

土佐光信筆「源氏物語図屏風」関屋・行幸・浮舟 メトロポリタン美術館所蔵

深層学習を用いた源氏絵の分析

美術史の専門家は絵師の微妙なタッチの違いからその流派を識別することができる。例えば、平安貴族独特の人物表現法である引目鉤鼻においても微妙な表現の違いがあるという。このような専門家の審美眼にはたして深層学習は太刀打ちできるのであろうか。研究当初はその正解率は限定的[河野文弥2017]であったが最新の顔認識アルゴリズムを用いると正答率は格段に向上した[加藤拓也2017]。しかしながら一方で分類に用いた箇所を調べると???という部分もあり、深層学習の効用と限界を垣間見た、という状況である。テーマ的には面白いので今後ともさらに発展させていく予定である。

 

 

仮想現実(VR)を用いた時代屏風の再現

源氏絵に何故金箔や金砂子が多用されているのか。金箔が雲形をしていることから源氏雲とも呼ばれている。金箔を貼るという装飾効果に加え、様々な場面を屏風に描くときの時空間的な隔たりを想像させるという効果もあるという。さらに、当時は絵巻や屏風を暗い部屋の中で灯明の下で見ていたという。これを再現するために、VR上での時代屏風の再構築を進めている[津野駿幸2017]。

時代屏風 六曲一隻 公家屋敷 (小長谷研究室所蔵)

研究発表

津野駿幸:Virtual Reality で体験する、灯りで見る源氏絵屏風, 第一回源氏絵データベース研究会, 東工大田町CIC, 2017年8月30日

加藤拓也:Deep Learning を用いた源氏絵の画像認識, 第一回源氏絵データベース研究会, 東工大田町CIC, 2017年8月30日

小長谷明彦:分子ロボティクス:ミクロ世界の人工物構築法, 東京工大×東京藝大第3回研究会, 東京藝術大学 上野キャンパス, 2017年6月14日

小長谷明彦:分子が織りなす「アート」, 東工大×ロンドン芸術大学セントラル・セントマーティンズ校合同シンポジウム 「科学・アート・デザインの実験」,  渋谷ヒカリエ ヒカリエホール ホールB, 2017年5月27日

河野文弥:Deep Learning を用いた源氏絵の画像認識, 源氏絵データベース科研 準備会, 東工大田町CIC, 2017年2月23日2017年5月27日

論文

河野文弥:Deep Learning を用いた源氏絵の画像認識, 東京工業大学総合理工学研究科知能システム科学専攻修士論文,2017年2月