無料で重複した動画ファイル・画像ファイルを類似性に基づいて検出する「Video Duplicate Finder」、他の重複ファイル検索ツールと異なり解像度やフレームレート違い・透かしの入った重複ファイルも検出可能

動画や画像ファイルの重複を検出するツールは数多くありますが、「ファイル名が一致する」・「ハッシュ値が一致する」など付加情報や完全一致でしか重複を判断できないケースがほとんどです。「Video Duplicate Finder」はファイルの形式や解像度が違ったり、透かしなど一部だけが加工されているような動画や画像でも、見た目の類似度から重複を検出できるオープンソースのツールです。

0x90d/videoduplicatefinder: Video Duplicate Finder - Crossplatform
https://github.com/0x90d/videoduplicatefinder

◆Video Duplicate Finderの利用方法
GUI版のVideo Duplicate Finderを利用する場合、メイン画面から「Settings」から「Directories」をクリックし、スキャンするフォルダを「Add」ボタンもしくはドラッグ＆ドロップで指定します。

除外するフォルダを登録することもできます。ファイル名やフォルダ名のパターンで除外したい場合は、「Add Pattern」をクリックし、「*.bk」など除外したいパターンを入力して「OK」をクリック。

重複かどうかの判定基準を設定するには「Setting」から「Scanning」をクリックし、各種パラメータを設定します。大きく3つの設定項目が重複判定の基準として影響します。

Percent：どのくらいの一致をもって重複と判断するかの割合で、推奨値は「90から95％」です。
Duration Difference：動画自体の長さの違いをどの程度許容するかで、0は完全一致のみ検出します。推奨値は「10から20％」
Max sampling duration：解析する動画のサンプリング時間で、0で全体を解析します。推奨値は「30秒」

設定が完了したら「Scanner」から「Scan」をクリックしてスキャンを開始します。

重複するファイルが検出された場合は一覧に表示されます。

アイテムの左側のチェックボックスにチェックを入れて「Delete Checked Items」をクリックするとファイルを削除できます。

スクリーンショットの場合は一致する部分が多いため「Percent」を99％に設定する。人物や風景などの写真は97％にすると似たカットの写真が候補として出てくるなど、コンテンツによって判定基準を調整する必要があります。

◆Video Duplicate Finderの構築方法
今回はWindowsにGUI版のVideo Duplicate Finderを構築します。公式のReleaseサイトからGUI版のZIPファイルをダウンロードします。

ダウンロードしたZIPファイルを右クリックし「すべて展開」を選択します。

解凍先のフォルダを指定して「展開」をクリックします。

Download FFmpegからFFmpegをダウンロードするためダウンロードサイトへのリンクをクリック。

ビルド済みのZIPファイルをダウンロード。

ダウンロードしたZIPファイルを右クリックし「すべて展開」を選択。

解凍先のフォルダを指定して「展開」をクリック。

解凍先のフォルダを開き「ffprobe.exe」と「ffmpeg.exe」をVideo Duplicate Finderを解凍したフォルダにコピー。

「VDF.GUI.exe」をダブルクリックしてVideo Duplicate Finderを起動。

起動すると初回の設定画面が表示されるので「Database Size」は「32ｘ32」を選択し「Next」をクリック。

スキャンするフォルダを登録する画面が表示されますが、いったん「Skip」をクリック。

セットアップが完了しVideo Duplicate Finderのメイン画面が表示されます。

スキャンするフォルダや判定基準などの設定がわかりやすく、重複の基準も細かく設定でき、高速な処理が可能な優れたツールです。