本文へジャンプ

画像検索技術 部分的に似ている画像まで検索できます 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター 知識・メディア処理技術開発部

画像検索技術 部分的に似ている画像まで検索できます 東芝デジタルソリューションズ株式会社 ソフトウェア&AIテクノロジーセンター 知識・メディア処理技術開発部

部分的に似ている画像を検索することで、詳細な調査が可能に

パソコンやスマートフォンが普及した現代社会では、ブログやSNS、画像投稿サイトなどを通じて日々画像がアップロードされ大量の画像が溢れています。これら大量の画像には、画像に映っているものを表すキーワードや文章がないものも多く、ウェブページなどと同じようにテキストでの検索で探したい画像を検索しようとしても、ユーザーが望む画像を得ることは困難です。

このように言語での検索が難しい画像を検索する技術として類似画像検索技術があります。この技術は、検索クエリとなる画像(以下、クエリ画像)を検索エンジンに入力し、その画像と似ている画像を検索する技術です。一般的な類似画像検索では、クエリ画像全体と検索対象画像群の各画像全体とで特徴同士を比較し、画像全体が似ている画像を探します。

ところで、例えばある製品のロゴが既に他社で使われていないかを調査する先行調査、あるいは権利化した商標を他社が無断使用していないかという侵害発見といった用途で、画像全体だけでなく部分的に似ている画像も検索したいというニーズがあります。しかし、画像全体が似ている画像だけを検索する一般的な類似画像検索では、部分的に似ている画像まで検索することはできませんでした。

私たちは独自のAI技術でデザイン画やイラストなどの画像を対象に、部分的に似ている画像を含めた類似画像検索を可能にしました[1]。この技術では、似ている部分の大きさに関わらず部分的に似ている画像まで検索できるようにするために、画像の一部分(以下、部分画像)の特徴を使い、図1のように部分画像同士で特徴を比較し、似ている部分画像が存在するかどうかを探します。部分画像の特徴も比較することで、図2のように全体が似ている画像だけでなく、部分的に似ている画像も検索することが可能になります。

しかし、ユニークでない部分(様々な画像で頻出する特徴的でない部分)を検索に使うと、関係性の低い画像も多く検索されてしまうという問題があります(図3)。そこで、我々は画像中の様々な部分の中からユニークな部分の特徴だけを抽出する技術を開発しました。典型的なデザインの画像では、多くのユニークでない部分画像による検索処理を削減し、これによって関係性の低い画像を検索結果から削減できることを確認しています。

今後は、多様なデザインの画像を用いた評価・改良を進め、部分的に似ている画像の検索精度向上を図ってまいります。

検索時の特徴比較

クエリ画像の部分画像の特徴と、各画像の各部分画像の特徴を比較して似ている部分画像を探し出します。
(以下の図はイメージです。)

検索時の特徴比較のイメージ画像

強化学習による人の能力獲得過程

検索結果の例

クエリ画像と全体が似ているだけでなく、部分的に似ている画像も検索することができます。
(以下の図はイメージです。)

検索結果の例のイメージ画像

部分的に似ている画像も検索できる類似画像検索DQN(Deep Q-Network)の構成図の画像

特徴的な部分の例

極端に単純な図形や、一文字は多数の画像に存在するため、特徴的な部分が似ている画像を検索しにくくなります。
(以下の図はイメージです。)

特徴的な部分の例のイメージ画像

部分的に似ている画像も検索できる類似画像検索による実験例の画像