SwapVid

近年，オンラインミーティングや講義動画など，主にPDF形式の配布資料を伴う，資料と密接に関連した動画コンテンツ（資料動画）を視聴する機会が増加している．資料動画における，ユーザの想定される視聴シナリオでは，動画と配布資料を同時並行で閲覧したり，片方の情報に基づいてもう片方を探索する，といった情報探索タスクが発生することが予想され，このような場合において，ユーザは動画と資料のコンテンツを目視で探索し，両者のシーケンスを対応付ける必要がある．これは非効率的なタスクであり，現在提案されているビデオナビゲーションツールでは，特に情報量が多いコンテンツにおいてユーザの負荷が高まるため，対処が難しい．そこで本研究では，動画と資料を統合し1つのビューアで閲覧するユーザインタフェースSwapVidを提案する．SwapVidインタフェースは，資料動画視聴におけるユーザの主なタスクである(1)動画に基づく資料への遷移（V2Dタスク），(2)資料に基づく動画への遷移（D2Vタスク）の2つをターゲットとして，注目対象をユーザが任意に操作する「直接操作」，及び関連情報をわかりやすく提示する「可視化」等のユーザインタフェースの設計手法を活用することで，両者の往来を支援する．

SwapVidシステムは，SwapVidインタフェース及びシーケンスアナライザの２つの要素から構成される．SwapVidインタフェースには動画モードと資料モードの２つのビューが存在し，動画モード時，資料に関連するインタラクション（e.g., スクロール操作）によって資料モードに移行し，資料モード時，動画に関連するインタラクション（e.g., シークバー操作）によって動画モードに移行する．シーケンスアナライザは動画と資料のシーケンスの対応関係を解析するものであり，OCRを中心としたコンテンツマッチング及びビューポート推定アルゴリズムによって実現される．

ユーザスタディでは，ユーザの資料動画視聴のシナリオに基づくタスクにおいて，SwapVidインタフェースの初期プロトタイプと，動画と資料を横並びで配置する従来型のユーザインタフェースを比較した．その結果，SwapVidインタフェースを使用した条件では，特にV2Dタスクを中心に，情報探索タスクをより短い時間，及びより少ないインタフェースの操作量で完了でき，主観的・身体的負荷を軽減することが分かった．加えて，SwapVidは定性評価でより好まれる傾向が示されたものの，フィードバックとして実用面での改善点（e.g., 情報の一覧性の改善）が得られた．実験結果を踏まえ，(1)資料モード時に再生中の動画を確認できるPicture-in-Pictureウィンドウの追加，(2)動画内文字列の直接ドラッグ操作によるV2D遷移インタラクションの追加，(3)モバイル端末上での動作，の３点をアップデートした改良版のインタフェースを作成した．

Publication

International

Taichi Murakami, Kazuyuki Fujita, Kotaro Hara, Kazuki Takashima, Yoshifumi Kitamura. SwapVid: Integrating Video Viewing and Document Exploration with Direct Manipulation, Proc. of the 2024 CHI Conference on Human Factors in Computing Systems (CHI ’24), Article No. 1035, pp. 1-13, May. 2024.

Domestic

村上大知，藤田和之，原航太郎，高嶋和毅，北村喜文． SwapVid: 資料動画の視聴支援のための動画・資料ビューアの統合型インタフェース．インタラクション2024論文集，pp. 373-376, 2024年3月．