新しい磁気式3次元モーションキャプチャシステムとインタラクションの研究

ワイヤレスでバッテリーレスの小型軽量マーカを用いた新しい磁気式リアルタイムモーショントラッキングシステムの研究を進めています．複数のマーカを区別して各マーカの3次元位置を，十分な速度と精度で行うことができます．オクルージョンの問題もなく，非接触・非拘束でバッテリーも必要としないので，複雑な運動や手作業などのインタラクティブな場面に利用できます．LCコイルによるマーカが発する誘導磁界を複数の磁界センサで検出し，機械学習を用いてそれらの位置を特定します．濁った水流を直接計測したり，土の中などを移動する小生物の動きを長時間にわたって計測できるなど，従来手法ではこれまで計測できなかった対象の動きを計測することができるため，幅広い応用が期待されています．

Publications

International

  • Jiawei Huang, Mori Tsuyoshi, Kazuki Takashima, Shuichiro Hashi, Yoshifumi Kitamura: 
    IM6D: Magnetic Tracking System with 6-DOF Passive Markers for Dexterous 3D Interaction and Motion
    ACM Transactions on Graphics (TOG), Volume 34, Issue 6 (Proceedings of ACM SIGGRAPH Asia), pp. 217:1-217:10, November 2015. [PDF]
    (This paper has been selected and listed on the top page of the ACM SIGGRAPH website as one of the three papers that they feel might be of particular interest to SIGGRAPH members (April 1st – July 25th, 2016).)
  • Jiawei Huang, Mori Tsuyoshi, Kazuki Takashima, Shuichiro Hashi, Yoshifumi Kitamura: 
    6-DOF Computation and Marker Design for Magnetic 3D Dexterous Motion-Tracking System
    ACM Symposium on Virtual Reality Software and Technology (VRST), pp. 211-217, November 2016.
  • Jiawei Huang, Ryo Sugawara, Kinfung Chu, Taku Komura, and Yoshifumi Kitamura,
    “Reconstruction of Dexterous 3D Motion Data from a Flexible Magnetic Sensor with Deep Learning and Structure-Aware Filtering,”
    IEEE Transactions on Visualization and Computer Graphics (2020)
    [PDF] [プレスリリース]

Invited Talk

  • 黄 佳維, 森 健, 高嶋 和毅, 枦 修一郎, 北村 喜文:
    複雑な3Dインタラクションとモーションのための6自由度パッシブマーカによる磁気式トラッキングシステム
    情報処理学会研究報告 グラフィクスとCAD (CG), 2015-CG-161, 8. SIGGRAPH ASIA招待講演セッション，2015年11月6日，神戸 [PDF]

Demonstrations

  • Jiawei Huang, Kazuki Takashima, Shuichiro Hashi, Yoshifumi Kitamura:
    IM3D: Magnetic Motion Tracking System for Dexterous 3D Interactions
    SIGGRAPH 2014 Emerging Technologies, Vancouver, Canada. [INFO]