授業紹介・ゼミ活動
PBL
新田ゼミ
新田ゼミ 2023年度卒業研究要旨
2023年度卒業研究要旨リンク集
赤岡ゼミ/鰺坂ゼミ/天野ゼミ/榎並ゼミ
大野ゼミ/大森ゼミ/尾関ゼミ/株本ゼミ
肥後ゼミ/平井ゼミ/福井ゼミ/藤本ゼミ
新田ゼミ
印象操作された画像の検知とその要因情報の提示手法の検討
近年,ソーシャルネットワーキングサービスにおける投稿の拡散により,投稿者の意図の有無に関わらず多くの人々の行動や思想が誘導される危険性が高まっている.本研究では,このような投
稿の中でも特に人々の感情を煽るよう印象操作された画像に着目し,さまざまなタスクに対して事前学習された画像解析モデルを用いて,印象操作のされた可能性のある画像の検知及び印象の要因情報を提示する手法を提案する.提案手法ではまず,意味の類似したテキストと画像に対し,距離の近い特徴量ベクトルを抽出するよう学習されたモデルを利用し,予め設定した感情を表すテキストと画像の距離に基づき,いずれかの感情に大きく偏る画像を検知する.さらに検知された画像に対し,画像に対する質問文に回答するよう事前学習されたモデルに,感情が偏る要因を尋ねることにより要因の説明文を得ると共に,画像に対してテキストに含まれる物体を検出するよう学習された物体検出モデルを用いて,印象の要因領域を検出する.本論文では,被験者により感情の偏りや要因領域が与えられた画像データセットを用いた実験により提案手法の有効性を評価する.
印象操作のための覚醒度と感情価を条件とした画像生成手法の検討
近年急激な発展を遂げているテキストを用いた画像生成 AIを用いて,制作者の意図をテキストで表現することにより非常に簡易な方法で画像を自動生成できる.しかし,制作者の意図を必要十分な形でテキストとして表現する必要があり,一般ユーザには困難な作業となっている.そこで本研究では,対象物を表す簡易なテキストと共に,意図する印象を表現するものとして,感情を2次元で表す値であるArousal(覚醒度)とValence(感情価)を条件として与えることより,一般ユーザにとってより簡便な方法で意図した印象に応じた画像を生成する手法について検討する.具体的には,画像生成AIであるStable Diffusionを対象に,よりテキストに応じた画像を生成するための制約を与えるCLIP guidance,及び覚醒度と感情価がラベル付けされた画像やテキストの既存データベースを用いた3種類の手法を提案する.本論文では、特定の対象物に対し,複数の覚醒度と感情価を条件として与えることにより,3種類の手法の有効性を比較する.