caxapa.ru :: Не подскажете как автоматизировать такое? Много файлов, иногда с одинаковыми именами, иногда с разными, но файлы до бита одинаковые. Как их искать и удалить дубли? На ум приходит посчитать для всех файлов MD5 и уже это и сравнивать.

alex68 (16.12.2013 14:07, просмотров: 107) ответил Evgeny_CD на Но 4T винч за 10кр стоит дешевле, чем море времени на сортировку :)

Не подскажете как автоматизировать такое? Много файлов, иногда с одинаковыми именами, иногда с разными, но файлы до бита одинаковые. Как их искать и удалить дубли? На ум приходит посчитать для всех файлов MD5 и уже это и сравнивать.

There's no fate but what we make for ourselves

Ответить

- гугл в помощь - SciFi(16.12.2013 14:26, ссылка)
  - И дальше? Вот есть некая совокупность файлов, которая суть слепок рабочего момента проекта. Х.з. сколько лет назад. И есть библиотека таких слепков. Дедупликатор радостно найдет дупы и оставит один из них. А остальные грохнет. И слепки перестанут Evgeny_CD(62 знак., 16.12.2013 14:33)
  - Спасибо за подсказку. - alex68(16.12.2013 14:33)
- Для этого есть готовые софты. Принцип да, такой: считаем сумму, хеш и т.п. и вносим в базу, индексируем по сумме. Находим строки с одинаковой суммой и сравниваем уже побайтово. На самом деле таких файлов не много. Нужно научиться только fk0(84 знак., 16.12.2013 14:22)
  - Это часто скачанные откуда-то разные документы, которые, увы, иногда реально проще найти гуглем и скачать, чем искать на своих дисках или архивах. Но вот имена могут быть разные, потому и надо их как то по содержимому искать. - alex68(16.12.2013 14:30)

Средства и методы разработки