2024年度卒業研究要旨リンク集

赤岡ゼミ／鰺坂ゼミ／和泉ゼミ
井上ゼミ／榎並ゼミ／大野ゼミ
大森ゼミ／尾関ゼミ／株本ゼミ
中野ゼミ／肥後ゼミ／平井ゼミ
福井ゼミ／藤本ゼミ／新田ゼミ

 

「物語を表す画像の自動生成手法の検討」

本研究では，テキストプロンプトを入力とする画像生成モデルを用いて物語を表す1枚の画像を生成する手法を提案する．プロンプトとして物語の短い記述であるあらすじを与えることが考えられるが，あらすじであってもプロンプトとしては冗長であり，質のよい画像を生成するためには，物語において必要かつ十分な要素を含むプロンプトの作成が必要である．そこで提案手法は質問応答モデルを利用し，物語と専門家が作成した画像の複数の対から物語を表す画像に必要な要素をテンプレート化すると共に，あらすじからテンプレートに応じて過不足なく必要な要素を抽出し，プロンプトを自動生成する．物語の例として映画に着目し，提案手法を用いてあらすじから生成した画像と実際のポスターの比較により提案手法の有効性を検証する．

 

「CLIPを用いた簡便な画像の印象操作手法の検討」

同じ対象物の画像であっても，閲覧者に与えたい印象によって画像の見た目は大きく異なる．本研究は，特定の対象物に対して意図する印象を与える画像を簡便に生成することを目的とする．この実現方法として，近年発展が著しい，テキストを用いた画像生成技術の利用が考えられるが，一般ユーザが対象物に応じて適切な印象を表現する入力テキストを決定することは困難である．そこで画像生成技術の一つであるStable Diffusionに対し，印象を表現する感情価・覚醒度を条件として与え，より意図した画像を生成するよう制御するCLIP guidanceを活用した印象操作方法を提案する．さらに，制御に用いるCLIPの印象の表現能力が不十分であることを実験的に検証し，ファインチューニングしたCLIPの利用により，印象操作の性能向上を目指す．

 

「ニュース記事における印象操作解析のための画像とテキストの整合性評価」

インターネットのニュース記事の多くはテキストと画像で構成されているが，読者に与えたい印象に合わせて言語表現や画像が選択されている可能性がある．本研究はこのような印象操作の可能性を解析するため，ニュース記事のテキストと画像の印象の整合性を定量的に評価することを目的とする．ここで必要となるテキストや画像の印象推定には，大規模なデータセットを用いた学習が不要であることから，意味が類似したテキストと画像に対し，類似した特徴量を抽出するよう事前学習されたCLIPを利用する．しかし，CLIPは印象の類似性を十分に表現できない．そこで，印象を表すと考えられる形容詞が名詞と共にラベル付けされた小規模な画像データセットを用いたファインチューニングによりCLIPの印象の表現性能を向上させ，より高精度な印象の整合性評価の実現を目指す．