ディジタル映像処理及び演習
| 開設大学 | 愛知工業大学 |
|---|---|
| 科目コード | 241316 |
| 担当教員 | 北坂孝幸 水野慎士 |
| 学年配当 | 3年, 4年 |
| 単位数 | 3単位 |
| 曜日 | 火曜日 |
| 開講期間 | 前期 |
| 実施形式 | 対面 |
| 開講時間割１ | 3限,4限 13:00 ～ 16:10 |
| 教室 | 1-502 |
| 履修条件 | 演習は各自のノートPCにて行うので，ノートPCを持参できる者． OSはWin/Macどちらでも良いですが，OpenCVとOpenGLが使用できること． |
| 募集定員 | 若干名 |
| 募集時期 | 4月 |
| 開講期間 | 4/11～7/31 |
| 講義概要 | ディジタル映像処理手法を用いた様々な処理プログラムを学ぶ. 静止画像処理，動画像処理，画像認識，映像からの各種情報取得など，ディジタル映像に対する様々な処理に関する手法とプログラミング方法について詳しく解説しながら演習を実施する．画像認識や画像からの情報取得については，機械学習や深層学習などのAI関連技術を活用した手法についても解説しながら演習を実施する． この授業を習得することで，情報科学科DPの「4. 専門教育科目の履修を通じて，メディア情報専攻においては，種々のメディアを用いたコンテンツの開発手法についての知識と技能を修得し，コンテンツの開発において実践的な能力を発揮することができること．」が身に付く． 【実施形態】 面接授業のみ実施（ただし、今後の社会情勢の変化により遠隔授業に変更する場合もある） 1. オリエンテーション・ディジタル画像の基礎【講義・演習／復習6時間】授業の進め方，単位取得に関わる出席，課題提出，評価方法について説明する．ディジタル画像の基礎およびOpenCV（ライブラリ）について講義し，画像読み込み，簡単な画像加工（グレースケール化など），画像保存の仕方を学ぶ．復習：人物画像ファイルを読み込み，グレースケール化と2値化しきい値処理を施すことで，この「人物」の顔画像（輪郭線画像）をできるかぎりはっきりと抽出し，結果画像を提出する． 2. 画素単位の処理【講義・演習／予習1時間復習5時間】画素単位の加工の仕方を学ぶ．予習：画素や色空間などの基本を復習しておく．復習：課題画像に映っている3名のグリーン・アーミーメンをできる限り残して，それ以外の部分は黒色となった画像を生成し，結果画像を提出する． 3. 動画像の取り扱い【講義・演習／予習1時間復習5時間】動画の読み込み方，簡単な加工の仕方，動画出力の仕方を学ぶ．予習：動画の仕組みについて調べておく．復習：課題のビデオファイル（3Dプリント中のサンダル）から，サンダル部分だけをできるだけ残して，背景部分を削除した動画を生成して結果を提出する． 4. 画像の濃度値変換【講義・演習／予習1時間復習5時間】トーンカーブによる濃度値変換について学ぶ．予習：ルックアップテーブルについて調べておく．復習：カラー映像をポスタリゼーション化してアニメ調に変換するプログラムを作成し，提出する．また，自分の顔映像をカラーアニメ調に変換した動画を生成して提出する． 5. 空間フィルタ【講義・演習／予習1時間復習5時間】画像加工の基本の一つかつ重要な空間フィルタリングについて学ぶ．予習：ガウシアン，ラプラシアン，メディアンについて調べておく．復習：課題のムービーをアニメ調に変換するプログラムを作り，変換した動画を提出する． 6. ２値画像処理【講義・演習／予習1時間復習5時間】パターン認識の基礎である２値画像処理について学ぶ．予習：パターン認識とはどういうものか調べておく．復習：課題画像に対して，領域処理に用いた2値画像，結果画像，および前処理の手順（膨張収縮処理に用いた構造要素，回数），抽出に用いた円形度のしきい値，抽出された各円の円形度，面積，周囲長を記したレポートを作成して，PDFファイルとして提出する． 7. 動きの検出【講義・演習／予習1時間復習5時間】動画像処理の基礎について解説し，動画中の「動き」の検出の仕方を学ぶ．予習：オプティカルフローについて調べておく．復習：課題の動画像中に現れるそれぞれの人の頭付近に青い丸印マーカが出るようにし，結果の動画を提出する． 8. 周波数フィルタリング【講義・演習／予習1時間復習5時間】画像は波の集合体であることを学ぶ．周波数空間での加工と実空間における結果について演習を通して理解を深める．予習：フーリエ変換について調べておく．復習：自分を映したビデオカメラ映像（PC付属カメラ）を読み込んで，映像をフーリエ変換してから低周波成分を除去して（ハイパスフィルタ），フーリエ逆変換を施した上で，さらに画像に2値化処理を施すことで，自分の顔映像を版画風に変換した10秒程度の動画を生成し，提出する． 9. 画像の幾何学変形【講義・演習／予習1時間復習5時間】画像のユークリッド変換，剛体変換，アフィン変換（画像の回転・拡大・縮小）について学ぶ．予習：ユークリッド変換，剛体変換，アフィン変換について調べておく．復習：背景画像上に複数の他の映像（人物を切り出した画像など）を配置し，それらが移動・変形する動画を作成して提出する． 10. ハフ変換【講義・演習／予習1時間復習5時間】パターン認識の代表的な手法の一つであるハフ変換と物体認識について学ぶ．予習：ハフ変換とは何か調べておく．復習：動画中の円を検出し，円が検出されたフレームのみをまとめた動画を出力し，提出する． 11. 画像処理分野でのAI【講義・演習／予習1時間復習5時間】AIの歴史を振り返りながら，画像処理分野で使われている機械学習や深層学習などのAI関連技術について学ぶ．予習：画像処理分野でのAIの活用例を調べておく．復習：画像処理AIを用いた画像認識プログラムを作り，認識結果を示す動画を提出する． 12. 問題解決(1) -顔認識への応用-【講義・演習／予習1時間復習5時間】AIを使った映像中の人の顔の認識方法について学ぶ．予習：OpenCVの顔認識機能について調べておく．復習：プリクラ風の加工（目を大きく，猫耳を付ける，チークを塗るなど）を施すプログラムを作り，自分の顔を加工した動画を提出する． 13. OpenCVとOpenGLの連携【講義・演習／予習1時間復習5時間】増強現実（Augmented Reality, AR）について学ぶ．その際必要となる，OpenCVとOpenGLの連携方法を習得する．予習：２年後期で行ったCGプログラミングの復習をしておくこと．復習：OpenGLウィンドウ中心付近に十分に大きい立方体を表示しておく．そして，カメラの前で手を上下左右に動かすと，動かした方向と速度に応じて立方体が回転運動するようにしなさい．例えば，手を上方向にゆっくり動かすと立方体も上方向に低速回転して，手を右下方向に素早く動かすと，立方体も右下方向に高速回転するようにする．動作風景を録画して動画を提出する． 14. 課題解決演習(2)【講義・演習／予習1時間復習5時間】物体認識，映像加工に関する課題に取り組む．これまで習得してきた技術を駆使し，課題を解く．予習：これまでの講義内容をおさらいしておくこと．復習：課題を仕上げ（完成度を上げ），完成版を提出する． 15. OpenGLとOpenCVの連携(2) テクスチャ【講義・演習予習1時間復習5時間】テクスチャマッピングによる映像加工について学ぶ．予習：テクスチャマッピングについて復習しておくこと．復習：肌色領域を認識し，顔と手を別々に認識した上で，顔と手をテクスチャマッピングした動画を提出する． |
| テキスト･参考文献 | 参考書:「ディジタル画像処理」（CG-ARTS協会 2020年 改訂第2版 ISBN13 978-4903474649) 参考書:「OpenCV3プログラミングブック」藤本雄一郎, 青砥隆仁他（マイナビ） 「詳解OpenCV3 コンピュータビジョンライブラリを使った画像処理・認識」G. Bradski, A Kaehler（オライリージャパン） |
| 試験・評価方法 | 本科目は演習付きの科目であり，演習に重点をおいて成績評価を行う．受講態度，演習課題レポートならびに必要に応じて実施する全体試験の点数を総合的に評価して成績を算出するが，特に演習課題レポートによる評価は全体の2/3とする．ディジタル映像処理技術の原理の理解に加えて，実際にC言語を用いて処理プログラムを作成して課題を解決できたかどうかを評価する．全15回のうち5回以上の欠席した者，または，全提出課題の3分の1以上を未提出の者は，Q評価とする． |
| 別途必要な経費 | 特になし |
| その他特記事項 | 本科目を受講するためにはC言語の基本を習得済みであることが必須である．本科目を受講する前にCプログラミングの受講と演習にしっかりと取り組み，実力をつけておいてほしい． また本科目は愛知工業大学メディア情報専攻２年生向けの選択科目「画像処理及び演習」の内容を基礎としており，受講生は「画像処理及び演習」を習得済みであることが望ましい． 本科目では各回の授業内容の積み重ねによってディジタル映像処理の原理やプログラミング方法を理解していく．そのため，第1回目から気を抜かずに授業に取り組んでもらいたい． |
| 科目名（英語） | Digital Video Processing and Exercises |
| 使用言語 |
