5 программ для поиска дубликатов файлов на windows-устройствах

Поиск копий фото и других изображений

Не менее часто пользователю может потребоваться удалить дубликаты изображений. Особенно, если на жёстком диске находится несколько сборников с личными фотографиями, отсортированными по датам или местам съёмки.

С помощью специального программного обеспечения лишние фото и картинки будут обнаружены и уничтожены, а места на HDD (SDD, флешке и другом накопителе) станет больше.

11. DupeGuru Picture Edition

Приложение для поиска одинаковых картинок является ещё одним вариантом утилиты DupeGuru, которую тоже можно (и даже желательно) скачать даже при наличии универсальной версии. При этом анализ фото тоже длится дольше по сравнению с поиском файлов любого расширения, но результат оправдывает себя.

Изображения определяются даже в том случае, когда на диске находятся несколько дубликатов одной картинки, но с разным разрешением и, соответственно, размером. Кроме того, для повышения эффективности проверяются файлы с любыми графическими расширениями – от .jpg до .png.

Рис. 11. Поиск картинок с помощью ещё одной версии DupeGuru.

12. ImageDupeless

Программа ImageDupeless отличается высокой скоростью работы и небольшим размером, что может оказаться важным при использовании, например, для её скачивания мобильного 2G-интернета.

При этом она распространяется бесплатно и имеет русский интерфейс. А производитель периодически выпускает к ней обновления, повышая эффективность поиска изображений.

Рис. 12. Стильный интерфейс приложения ImageDupeless.

13. Image Comparer

Преимуществами приложения Image Comparer, кроме простого интерфейса, можно назвать наличие пошагового мастера, позволяющего научиться быстрому и результативному поиску изображений.

Эта особенность отличает утилиту от большинства остальных, для работы с которыми придётся читать файлы справки, не всегда правильно переведённые (а иногда и вообще предоставляемые только на английском).

Фактически, приложение является ещё одной версией Audio Comparer, и тоже распространяется по «условно бесплатной» лицензии – то есть за определённые функции пользователю придётся заплатить.

Рис. 13. Приложение Image Comparer – неплохой способ найти дубликаты картинок.

Откуда появляются дубликаты файлов (копии)

Если вы привыкли создавать много резервных копий файлов, чтобы уж наверняка сохранить ваши или чужие труды, или же просто не можете найти старые копии файлов, которые в свое время успешно переименовали, или же «просто так получается», что на диске образуется много копий файлов, то через некоторое время на вашем компьютере соберется большое количество «лишних» копий, которые будут только захламлять вашу систему. Для решения такой проблемы существуют специальные утилиты для поиска копий файлов. 

Год за годом размеры дисков становятся все больше и больше по объему, поэтому вам может и не понадобятся данные утилиты. Но, тем не менее, если вы решились заняться очисткой компьютера от лишних файлов, то стоит отметить ряд предостережений, чтобы вы не совершили необратимых действий (ведь сложно будет вспомнить, где именно находились 10-15 копий каждого файла из списка очищенных). 

Никогда не пытайтесь слепо сделать следующее: запустить программу, найти все дубликаты и нажать кнопку «удалить». Это может быть катастрофой. Если поиск осуществлялся только на основании критерия схожести имени, то вы можете навсегда потерять кучу данных (конечно, есть возможность восстановить файлы по средствам специальных утилит, но в данном случае — это будет безумной идеей). Например, у вас могут храниться различные коллекции иконок, и наверняка ряд из них будет одинаково называться. Или файлы просто оказались с одинаковыми названиями (например, файлы библиотек и т.д.). 

Не стоит сразу проверять все подряд. Полное сканирование диска — будет не очень хорошей идеей. Сканирование нескольких связанных папок — это самый оптимальный вариант. Такой подход будет более эффективным, и вам будет намного легче разобраться в результатах поиска.

Несмотря на всю мощь, которую только могут обеспечить утилиты для поиска копий файлов, интеллект все же придется использовать

Здравый смысл всегда и везде необходим, не важно какую задачу вы решаете. Поэтому не старайтесь сделать все сразу одним махом

Пусть это займет время, но и вы будете спокойными и уверенными в правильности своих действий. 

Программа поиска дубликатов фото — файлов

Большое количество одинаковых изображений в памяти ПК – также весьма распространённая проблема среди пользователей. Но при этом искать одинаковые картинки вручную чуть ли не труднее всего. Кроме того, что одинаковые изображения могут быть разных форматов, разрешения или качества, так они ещё обычно не подписаны, в отличие от тех же видео или аудиофайлов. Самому просматривать и запоминать все картинки, а затем искать копии в безымянных списках – дело неблагодарное, а потому помощь программы, которая проведёт поиск дубликатов файлов на компьютере вместо вас, будет как никогда кстати. Ниже представлены самые лучшие программы поиска дубликатов фото на компьютере.

Image Dupeless

Первая программа, которая подойдёт вам для данной цели – это Image Dupeless. Данная программа довольно быстро найдёт все похожие изображения, которые есть на вашем компьютере, и предложит вам их подробный список с возможностью сравнить их друг с другом. Примерное время проверки данной программы около получаса на один гигабайт файлов (что в свою очередь — около одной тысячи изображений среднего качества).

Программа полностью переведена на русский и распространяется бесплатно в интернете. При этом она является одной из самых лёгких программ подобного действия.

Image Comparer

Приложение Image Comparer является условно бесплатным, то есть скачивать вы его можете безо всяких вложений, но за использование определённых функций придётся доплатить. По скорости и размерам программа не уступает Image Dupeless, но кроме того имеет ещё несколько преимуществ. Главным плюсом многие пользователи называют “мастер по работе с программой”, который помогает освоиться “на первых порах”.

Однако что действительно выглядит интересно, так это процедура проверки файлов. Программа Image Comparer не только найдёт копии файлов, но ещё и выставит процент их совпадения и даже отметит отличающиеся места прямо на фотографии. Такой подход довольно сильно упрощает проверку дубликатов.

Исходя из всего вышеперечисленного, можно без сомнений назвать программу Image Comparer самой простой в использовании.

Dupe Guru Picture Edition

И вновь программа Dupe Guru, но на этот раз немного другая версия. На поиск с использованием Dupe Guru Picture Edition уходит немного больше времени, чем при использовании других приложений, однако и качество поиска здесь куда выше. Программа сравнивает абсолютно все изображения, хранящиеся на вашем ПК, в независимости от их формата, разрешения или размера.

AllDup

Бесплатная программа

Продолжим обзор еще одной бесплатной программой, специализирующейся на поиске и удалении дубликатов файлов. В приложении AllDup имеется множество настроек поиска — больше, чем у всех вышеперечисленных программ. В связи с этим стоит полагать, что AllDup предназначен для профессионального использования пользователями, ежедневно сталкивающихся с необходимостью обработки большого массива файлов.

Программа AllDup подходит для использования в 32-бит/64-бит системах Windows XP/7/8/10. Интерфейс имеет перевод на русский язык. Приложение AllDup позволяет сравнивать файлы по следующим критериям:

• Имена файлов. Программу AllDup можно настроить не только на сравнение полных имен файлов, но и их части — указанное количество символов в начале или в конце. Также можно задать символы, которые будут игнорироваться в процессе сравнения. Кроме того, AllDup способен даже обнаруживать файлы с похожими именами, используя один из 8 алгоритмов сравнения, как SmartMatch, FuzzyMatch, Ratcliff и другие.
• Содержимое файлов. AllDup предлагает использование одного из 6 методов сравнения содержимого — побайтное, MD5, SHA-160, SHA-256, SHA-384 и SHA-512. При выборе побайтного сравнения пользователь может вручную указать размеры блоков чтения в байтах
• Дате создания/изменения с возможностью задействования опции игнорирования метки времени и/или секунд.
• Расширению, размеру и атрибутам. Здесь нет дополнительных опций.

Отдельно отметим функционал AllDup по поиску дубликатов/похожих изображений и аудиофайлов. Касательно изображений, программа предлагает следующие возможности:

• Три метода поиска дубликатов — aHash, dHash и pHash.
• Ручная установка процента визуальной схожести.
• Поиск измененных изображений (повернутых и отраженных).

Для поиска дубликатов музыкальных файлов в AllDup имеется возможность ручной установки продолжительности (в секундах) отрезка сканирования и процента схожести. Предусмотрено 4 метода сравнивания аудиофайлов.

Среди прочих функциональных возможностей AllDup отметим:

• Включение/выключение опции определения различных характеристик файлов.
• Возможность сканирования файлов, упакованных в архивы формата ZIP, 7Zip, RAR, TAR, ISO, CAB и многие другие.
• Возможность сравнивания содержимого офисных документов DOC,DOCX,RTF.
• Возможность подключения внешних программ для сравнения содержимого поддерживаемых теми форматов файлов.
• Создание фильтров файлов по расширению и размеру.
• Предпросмотр найденных файлов (включая видео и аудио) внутри программы, для чего используются на компьютере должны быть установлены/влючены приложения WordPad, Windows Media Player или VLC Media Player, Internet Explorer, Photo Viewer.

Несмотря на наличие большого числа настроек и опций, программу AllDup могут использовать пользователи, не знакомые со всеми нюансами поиска дубликатов файлов. В приложении предусмотрен специальный модуль «Быстрый старт» (небольшое окошко), при помощи выполнить поставленную задачу можно в 3 простых шага:

1. Кликните по кнопке «Выберите исходную папку» в окошке «Быстрый старт», укажите папку/диск/раздел для поиска и задайте метод сканирования (не обязательно).

1. Кликните по кнопке «Выберите метод поиска» в окне быстрого старта и задайте критерии поиска дубликатов (содержимое, размер, дата создания и т.д.)

1. Кликните по кнопке «Начните поиск» и дождитесь окончания процесса поиска.

Примерно так будет выглядеть результат поиска дубликатов:

Осталось отметить дубликаты, над которыми следует выполнить то или иное действие. Отметить файлы можно и в автоматическом режиме, выбрав нужный пункт в меню «Выбор»:

Кликните по кнопке «Операции с выбранными файлами». Откроется новое окно, в котором будут приведены все доступные варианты действий с отмеченными файлами.

Поиск и удаление дубликатов файлов с помощью CCleaner Pro

Это очень эффективная программа по чистке компьютера. Она позволит не только очистить реестр от ошибок, но еще и проанализировать диски на предмет того, какие файлы занимают место (видео, картинки, музыка, документы), найти и удалить дубликаты на носителях информации. Однако имейте в виду, что мы не рекомендуем чистить реестр и на постоянной основе использовать CCleaner. Достаточно один раз проверить диски на наличие дубликатов файлов и после использования удалить программу.

1. Cкачайте и установите CCleaner Pro.
2. Перейдите в раздел меню “Инструменты”.
3. Выберите “Поиск дублей”.
4. В открывшемся окне можно указать параметры поиска дубликатов файлов: критерии поиска, условия исключений файлов из поиска.

В подразделе “Критерий поиска” можно выбрать, по каким параметрам искать дубликаты файлов: по имени, размеру, дате изменений, содержимому.

По умолчанию активированы первые три свойства файла: имя, размер и дата изменения. То есть программа будет искать файлы с одинаковыми названиями, размером и датой изменения. Чем больше критериев поиска выбрано, тем точнее поиск и тем меньше будет найдено дубликатов.

Мы рекомендуем оставить стандартные значения критериев поиска и перейти к следующему подразделу под названием “Игнорировать”.

Здесь можно указать, какие файлы искать не требуется. По умолчанию CCleaner не будет искать системные файлы, файлы только для чтения (которые нельзя перезаписать или изменить) и пустые файлы, не занимающие место на диске. При желании можно исключить из поиска скрытые файлы, а также задать размер игнорируемых файлов. Например, не меньше 1 мегабайта и (или) не более 5 гигабайт.

Выбор размера файла может быть удобен людям, которые не желают тратить время на удаление дубликатов небольших по объему файлов. Исключив файлы до 1 мегабайта, вы наверняка не увидите в выдаче поиска текстовые документы и сможете удалить более весомые копии.

Далее необходимо выбрать диск или папку, в которой будет производиться поиск дубликатов. Здесь же можно исключить определённые диски или папки.

Определив параметры поиска, можно приступить к самому поиску. Нажмите кнопку “Найти”, и программа приступит к поиску дубликатов файлов по заданным критериям.

По окончании поиска появится окно с результатами. У исходного файла будет как минимум одна копия. Дубликатов может быть и два, и три, и располагаться они могут в разных местах. Поэтому мы рекомендуем всегда смотреть, в каком расположении вы оставите файл, а в каких папках будете удалять.

Проставляя галочки напротив дубликатов, вы будете выбирать файлы на УДАЛЕНИЕ.

Выбрав необходимые файлы, и удостоверившись, что все сделали правильно, можно нажать кнопку “Удалить выбранные”. Имейте ввиду, что удаление будет произведено окончательно, без удаления в корзину.

Вот так просто, используя CCleaner, можно освободить свободное место на диске, избавиться от дубликатов файлов в разных местах на дисках и привести свои каталоги в порядок.

Duplicate Cleaner

• Платная программа
• Цена лицензии: $29,95

Duplicate Cleaner можно назвать профессиональным средством поиска файлов (в т.ч. и дубликатов), т.к. это — основная и единственная функция данной программы. Приложение работает в среде ОС Windows Vista и выше (32-бит и 64-бит), имеет поддержку русского языка. К сожалению, программа Duplicate Cleaner распространяется платно, но разработчики предоставляют возможность бесплатного использования в течение 15 дней.

Сразу обратим внимание на наличие в программе Duplicate Cleaner 3 режимов поиска файлов:

1. Обычный режим, при котором осуществляется поиск любых типов файлов путем сравнения их содержимого.
2. Режим поиска изображений путем их сравнивания по содержимому (визуальные сходства) и/или метатегам (время создания, координаты места съемки и т.д.).
3. Режим поиска аудиофайлов по содержимому (т.е. программа «прослушивает» аудио), продолжительности и/или метатегам (исполнитель, альбом и т.д.).

Независимо от выбранного режима, пользователь также может задать дополнительные критерии поиска файлов, например:

• Имя и/или расширение (поддерживаются маски имен).
• Дата создания/изменения.
• Размер (точный или интервал) и другие.

Отдельно отметим способность программы Duplicate Cleaner сравнивать файлы с использованием различных методов, а именно: побайтно (byte-to-byte), с использованием MD5, SHA-1, SHA-256 и SHA-512 хэша. По умолчанию программа работает с MD5-хэшем, но пользователь может выбрать любой из названных способов поиска в настройках.

Ввиду того, что интерфейс Duplicate Cleaner выполнен на русском языке (хоть перевод местами хромает или вовсе отсутствует), использование программы не вызовет никаких сложностей у русскоязычных пользователей. Например, чтобы найти и удалить дубликаты (т.е. точные копии) видеофайлов с расширением «.MP4» на указанном локальном диске:

• Во вкладке «Критерии поиска» выберите «Обычный режим» поиска, затем задействуйте опцию «Похожее содержание».
• В разделе «Фильтры поиска» в поле «Включено» скопируйте «*.mp4» (без кавычек).

Перейдите во вкладку «Сканировать путь». В левой части окна выберите диск (флешку/раздел), который следует отсканировать на наличие одинаковых файлов (в нашем случае — видео с расширением .MP4). Нажмите на кнопку «Сканировать».

• Дождитесь окончания процесса сканирования. После этого автоматически откроется вкладка «Дубликаты файлов». В правой части окна можно будет увидеть найденные дубликаты файлов (если таковые были обнаружены).
• Если над файлами требуется выполнить какое-либо действие (например, удалить), отметьте их в списке, затем кликните по кнопке «Удаление файлов» в верхней част окна программы.

Во вновь открывшемся окне выберите требуемое действие над отмеченными файлами (т.к. нам нужно удалить файл, кликните по кнопке «Удалить файлы»).

На этом работу с программой можно завершить.

Нахождение одинаковых фотографий в три клика с VisiPics

Следующая программа – VisiPics. В отличие от рассмотренной выше Image Comparer, VisiPics является бесплатным приложением, также специализирующемся на дубликатах фото. Увы, локализации на русский здесь нет, но расстраиваться по этому поводу точно не стоит: всё очень просто и предельно понятно.

С помощью боковой панельки навигации (мы обвели её в рамку) выберите нужный каталог. Далее нажмите стрелочку со значком «+», чтобы добавить эту папку в список, по которому будет вестись поиск. При желании таким же образом вы можете выбрать ещё несколько папок. Наконец, третьим шагом нажмите кнопку Play, чтобы запустить процесс нахождения дубликатов.

Справа от неё располагается специальный ползунок, где вы можете настраивать уровень «внимательности» программы. В случае установленного по умолчанию базового уровня VisiPics обнаружила для нас лишь две группы дубликатов, одна из которых состояла из трёх изображений, а другая из двух:

Это те изображения, которые программа считает практически идентичными дубликатами. Однако если вы понизите ползунок до уровня Loose, то находиться будут и просто похожие друг на друга изображения. В нашем случае при установке Loose вместо Basic приложение нашло ещё четыре (в итоговом тесте ниже – 5) группы дубликатов, а одну из двух уже найденных дополнило ещё одной картинкой:

Дополнительных опций у программы относительно немного. Здесь можно настроить поиск в подпапках (по умолчанию он включён), отображение скрытых папок, учёт фотографий, повёрнутых на 90 градусов. На вкладке loader можно попросить VisiPics игнорировать мелкие файлы или, наоборот, картинки в слишком большом разрешении

Последнее важно для скорости

Универсальные приложения

Универсальные приложения для поиска копий, в основном, работают по принципу сравнивания размеров файлов. И, так как вероятность совпадения количества байтов у разных фото практически равна нулю, одинаковые значения считаются признаком дубликата.

Иногда алгоритм предусматривает проверку имён – тоже важный параметр для поиска, тем более что одинаковые данные в большинстве случаев совпадают и по названию.

Преимуществами программ являются возможность найти с их помощью файлы любого типа и сравнительно высокая скорость работы. Недостаток – меньшая точность обнаружения. Так, например, ни одна из таких утилит не посчитает дубликатом одну и ту же фотографию, сохранённую с различным разрешением.

1. DupKiller

Приложение, обеспечивающее поиск файлов практически с любым расширением, можно бесплатно скачать на официальном сайте его производителя.

Среди отличий программы – интерфейс на русском языке, быстрая работа и большое количество настроек.

С помощью DupKiller можно сравнивать файлы и по размеру, и по дате, и по содержимому (последняя возможность поддерживается только для определённых типов).

Рис. 1. Окно программы DupKiller.

2. Duplicate Finder

Приложение Duplicate Finder позволяет не только искать дубликаты файлов с разными расширениями, но и проводить их сортировку.

Для удобства пользователей настройки утилиты позволяют проводить поиск и по размерам, и по контрольным суммам, и по названию.

Кроме того, с её помощью можно удалять пустые папки и «нулевые» файлы. А среди недостатков можно назвать разве что отсутствие поддержки русского языка.

Рис. 2. Результат работы приложения Duplicate Finder.

3. Glary Utilities

Программа представляет собой не одну утилиту, а сразу несколько – для исправления реестра, для очистки диска и даже для управления безопасностью.

Одно из приложений в наборе даёт возможность искать дубликаты файлов. Среди преимуществ утилиты – русский интерфейс.

К минусам можно отнести определённое замедление работы компьютера при использовании приложения.

Рис. 3. Утилита поиска дубликатов в составе пакета Glary Utilities.

Как повысить ФПС в играх: все возможные способы 2017 года

4. CCleaner

Главной задачей многофункциональной программы CCleaner является очистка жёсткого диска компьютера (а также планшета и смартфона, так как у приложения есть версии и для Android). А среди её преимуществ можно отметить:

• простоту настройки;
• установку нескольких критериев поиска;
• возможность игнорировать некоторые файлы (с определённым размером или датой создания, а также системные или скрытые).

Важно: При обнаружении файлов с нулевым размером их не обязательно удалять. Иногда это может быть информация, созданная в другой операционной системе (например, Linux)

Лучший инструмент, который вы, возможно, уже установили: CCleaner

CCleaner  — это популярный инструмент, поэтому есть большая вероятность, что он уже установлен, тем более, что мы писали о нем статью. Главная особенность CCleaner — это средство для удаления ненужных файлов, которое освобождает место на жестком диске, удаляя ненужные временные файлы, но также имеет немало других встроенных инструментов, включая средство поиска дубликатов файлов.

Запустите CCleaner и нажмите «Инструменты > Поиск дубликатов», чтобы найти эту функцию нужную функцию. Он доступен во всех версиях CCleaner, поэтому вам не нужно платить за использование CCleaner Pro.

Настройки CCleaner по умолчанию разумны и позволят вам искать дубликаты файлов на диске C:, игнорируя системные и скрытые файлы. Вы также можете выбрать поиск в определенном каталоге, нажав кнопку «Добавить» на панели «Включить» и выбрав эту папку. Не забудьте выбрать опцию «Включить файлы и подпапки» при добавлении новой папки, чтобы CCleaner осуществлял поиск любых папок в указанной вами папке.

Интерфейс этого инструмента для просмотра дубликатов файлов не изящен, и не имеет все те же параметры предварительного просмотра Auslogics Duplicate File Finder делает. Тем не менее, он позволяет Вам легко выбирать, какие файлы вы хотите удалить, и даже сохранять список дубликатов в текстовый файл, но это базовый интерфейс, который позволяет вам выбрать, какие файлы вы хотите удалить, и даже сохранить список дубликатов файлов в текстовый файл. Вы можете щелкнуть правой кнопкой мыши файл в списке и выбрать «Открыть папку», если вы хотите просмотреть сам файл в своей системе.

Программы по поиску копий аудиофайлов

Программы по поиску копий аудиофайлов точно пригодятся меломанам, хранящим у себя на ПК большие объёмы музыки, и в особенности тем, кто любит скачивать различные подборки музыки, ведь в таких подборках очень часто попадаются одинаковые композиции. Статистика такова, что примерно каждая десятая аудиозапись из сезонных подборок лучшей музыки уже есть у вас на ПК. Вот и считайте, если у вас на ПК, к примеру, сто гигабайтов музыки, то как минимум десять из них — дубликаты.

Ситуацию осложняет ещё и то, что такие файлы могут отличаться и по названию, и по размеру. Единственный критерий, по которому можно найти подобные копии – это аудиодорожка, которую можно отличить либо на слух, либо при помощи специальных программ. О лучших программах способных находить дубликаты аудиофайлов мы и поговорим далее.

Music Duplicate Remover

Лучшими качествами программы Music Duplicate Remover считаются её скорость и качество поиска. Принцип её работы заключается в том, что она прослушивает все аудиозаписи и запоминает их, а затем сравнивает друг с другом и ищет совпадения. Разумеется, такая процедура занимает гораздо больше времени, чем проверка универсальных программ, а потому скорость здесь быстрая лишь если сравнивать её с подобными программами. Средняя продолжительность проверки составляет около двух часов на сто гигабайт файлов (что, между прочим,около трёх композиций в секунду).

Audio Comparer

Программа Audio Comparer довольно сильно похожа на предыдущий вариант как по принципу поиска, так и по результативности. Она не уступает ей ни в скорости, ни в точности. Отдельно стоит упомянуть о наличии в ней своеобразного мастера, помогающего пользователям разобраться в основных принципах программы, когда они только начинают работать с ней.

Dupe Guru Music Edition

Ещё одна программа, заслуживающая вашего внимания – это Dupe Guru Music Edition. Даже оригинальная версия программы Dupe Guru является вполне конкурентоспособной и может похвастаться отличной скоростью и точностью. Но что особенно интересно, так это небольшая доработка сделанная разработчиками в версии Music Edition.

В работе программ, ищущих дубликаты существует такое понятие, как “оригинал файла”, которое обозначает файл, который не будет считаться копией и после очистки останется у вас на ПК. Обычно в качестве оригинала выступает тот файл, который был найден раньше его копий, в редких случаях его дают выбрать пользователю.

Но Dupe Guru Music Edition, кроме обычного сравнения по звуку, делает также сравнение и по качеству аудиофайла и после окончания проверки делает оригиналом тот файл, качество которого было выше, чем у остальных. То есть после удаления копий у вас на ПК останется только самая качественная версия композиции.