Evgeny_CDАрхитектор (16.12.2013 13:12, просмотров: 104) ответил Evgeny_CD на Если все мои данные как следует рассортировать и устранить неявное дублирование - раза в 2 меньше станет.-
- Не подскажете как автоматизировать такое? Много файлов, иногда с одинаковыми именами, иногда с разными, но файлы до бита одинаковые. Как их искать и удалить дубли? На ум приходит посчитать для всех файлов MD5 и уже это и сравнивать. - alex68(16.12.2013 14:07)
- гугл в помощь - SciFi(16.12.2013 14:26, ссылка)
- И дальше? Вот есть некая совокупность файлов, которая суть слепок рабочего момента проекта. Х.з. сколько лет назад. И есть библиотека таких слепков. Дедупликатор радостно найдет дупы и оставит один из них. А остальные грохнет. И слепки перестанут Evgeny_CD(62 знак., 16.12.2013 14:33)
- Именно так. Пока что всякими дупкиллерами работаю в режиме поиска дублей. Грохаю исключительно в ручном режиме. - Codavr(16.12.2013 14:48)
- Кстати, это мысль, нужна софтина, которая умеет находить разные последовательные версии одного файла(или целого дерева каталогов) и засовывать их в базу Git. Это было бы вкусное решение. - =AlexD=(16.12.2013 14:44)
- Ага. А потом оказывается что он грохнул более позднюю версию в которую внесены ошибочные исправления а надо было оставить предпоследнюю. Как то раз так и нарвался с тех пор грохаю только в ручном режиме. А уж хтмл архивы там одинаковых файлов Codavr(137 знак., 16.12.2013 14:51 - 14:54)
- Причём линки должны быть с функцией copy on write. А какая файловая система такое умеет? Пара экспериментальных для linux... Теоретически любая с версиями файлов (технологии, кстати, со времён DEC -- налицо дедградация, а не прогресс), но fk0(29 знак., 16.12.2013 14:39)
- Спасибо за подсказку. - alex68(16.12.2013 14:33)
- И дальше? Вот есть некая совокупность файлов, которая суть слепок рабочего момента проекта. Х.з. сколько лет назад. И есть библиотека таких слепков. Дедупликатор радостно найдет дупы и оставит один из них. А остальные грохнет. И слепки перестанут Evgeny_CD(62 знак., 16.12.2013 14:33)
- Для этого есть готовые софты. Принцип да, такой: считаем сумму, хеш и т.п. и вносим в базу, индексируем по сумме. Находим строки с одинаковой суммой и сравниваем уже побайтово. На самом деле таких файлов не много. Нужно научиться только fk0(84 знак., 16.12.2013 14:22)
- Это часто скачанные откуда-то разные документы, которые, увы, иногда реально проще найти гуглем и скачать, чем искать на своих дисках или архивах. Но вот имена могут быть разные, потому и надо их как то по содержимому искать. - alex68(16.12.2013 14:30)
- Жена назаписывала на дивиди несколько сотен фильмов, а смотрит исключительно из инета ибо там их найти проще. - Codavr(16.12.2013 14:57)
- Сделай проще, отключи старый диск, подключи новый. Всё что нужно - тяни из интернета или со старого диска. Через пару лет просто удалишь со старого всю инфу. - =AlexD=(16.12.2013 14:42)
- Одинаковые документы могут побайтово отличаться... Вообще нужна поисковая система локальная. Яндекс что-то своё делал, не знаю чем кончилось. В микрософт встроена со времён XP -- только "не работает вообще". Glimpse -- 20 лет в обед. Работает, но fk0(26 знак., 16.12.2013 14:35)
- Это часто скачанные откуда-то разные документы, которые, увы, иногда реально проще найти гуглем и скачать, чем искать на своих дисках или архивах. Но вот имена могут быть разные, потому и надо их как то по содержимому искать. - alex68(16.12.2013 14:30)
- гугл в помощь - SciFi(16.12.2013 14:26, ссылка)
- Именно так и есть. У меня даже папка есть с названием "Рабочие столы" :) Codavr(126 знак., 16.12.2013 13:15)
- Не подскажете как автоматизировать такое? Много файлов, иногда с одинаковыми именами, иногда с разными, но файлы до бита одинаковые. Как их искать и удалить дубли? На ум приходит посчитать для всех файлов MD5 и уже это и сравнивать. - alex68(16.12.2013 14:07)