- 履歴一覧
- ソース を表示
- Transcode/Prototyping は削除されています。
ビデオダイジェスティングとは†
- 処理の流れ
- 元になるMPEGがある。
- まずはMPEGからフレームシーケンスに戻す。
長谷部君の研究では、フレームシーケンス以降の処理を取り上げている。
- 画面が転換するところを見つける(シーンチェンジ検出)
- シーンチェンジとシーンチェンジとの間にある、特徴的なフレームを抽出する(キーフレーム検出)。
でないと画面転換中の薄暗い画像ばかりになっちゃう。
- さらにキーフレームが似ていないかを調べる。(クラスタリング)
キーフレームと元のフレームシーケンスとの関連も保持しておく。
ここで出来上がるのがストーリボード。
- キーフレームの元になるフレームシーケンスをMPEGに再エンコードすると、ダイジェストクリップが完成。
与えられたビデオに対して
- シーンチェンジ検出
- キーフレーム抽出
- クラスタリング
などを行ない
- メジャーなキーフレームからなるストーリボード
- メジャーなシーンからなるダイジェストクリップ
を作ることです。
Fig.1: シーンチェンジ検出
Fig.2: キーフレーム抽出
Fig.3: ストーリーボード
- ビデオの内容要約
- ストーリーボードはビデオの静的な要約
- ダイジェストクリップはビデオの動的な要約
- 取り扱っていない部分
- ビデオフレームシーケンスへのアクセス
- ビデオの再エンコード
地域コミュニティーのためのビデオダイジェスィング†
おしらせ†
- 共同研究用カテゴリKLabWiKi:Niigataを作りました。
- userとpassはメールにて送信します。
- 今後はKLabWiKiを本家にしましょう。ありがとう>長谷部君
- きょう(11/8)工技総研の阿部さんが来社しました。(金子)
- 金子を研究担当者にして欲しいとの話です。
- 会社として人件費を含めたキャッシュフローが赤字にならないようにしなければなりません。
- 何かしら基板製作の予算を計上してもらうこと、アートワークの発注はWiViComがすることで了解しました。
- 水曜日(11/10)に原案を工技総研に提出することにしました。
- 動画(MPEG)からの要約技術だそうです。データベースに使おうとしています(金子)
- 動画を収集する仕組み(装置とか社会的な仕組みとか)がポイントかも(金子)
- 動画収集装置または動画表示装置をWiViComが担当することになるかな(金子)
ハードウェア要求†
- 映像収集，検索，表示装置として
- Audio/Video Codec内蔵
- GPS内蔵，もしくは接続可能
- カメラ内蔵，もしくは接続可能
- マイク内蔵，もしくは接続可能
- パネル内蔵，もしくは接続可能
- ネットワークに接続可能
- お年寄りにもつかえるように。
- タッチパネルとか。
- B5サイズぐらい。小さすぎるのはだめ。
基本的には研究寄りの提案なので、具体的なビジネスモデルは必要なさそうです。
ただ、「動画データベースがあれば、こんなのに使える」という文言が必要みたいです(金子)
- アルビレックスの試合からゴールシーンだけを再生するとか(金子)
- 海岸の映像から不審船が写っているところを抽出するとか(金子)
- 地震とか災害とか北朝鮮とかになると、警察なんかとの連携が必要になるので、
テーマとしては上げたくない様子でした。(金子)
- ビデオデータベースへのアクセス
- JPEG2000のコーデック。LSIができたりするのかな。
- 工技総研では東大のVDECの資料を持っていて、JPEG2000のLSIもあったようです。(金子)
- MPEGの再生機能。当然ハードウェアで。
- MPEG映像にメタデータをインポーズ
- 例えば、サッカー映像を解析して、いまどちらが攻めているのか、シュートなのかセットプレイなのかを判別して字幕を生成とか。
- メタデータはテキスト情報だけじゃないので、図とかもインポーズできるといいかも。
- この辺り、面白そう(金子)
- 道路の渋滞映像に、何分くらい渋滞しているかを自動挿入するとか?(金子)
- 映像の配信を受ける前に、その内容を確認するためにストーリーボードやダイジェスト映像を表示。
- ストーリーボードとダイジェスト映像を同時に表示するとか。
- ストーリーボードとかダイジェスト映像が、いまひとつ理解していません。出力の例みたいのありますか?(金子)
- ダイジェスト映像を無線で一斉配信するとか。1:Nだ。
- 1:Nとかの話が絡めれば嬉しい(金子)
- 不完全なMPEGストリームから動画を再生する技術とか(金子)
![[PukiWiki]](image/logo_pub.png "[PukiWiki]"){kind=logo}
