Eddy_Em (Сегодня, 14:30, просмотров: 30) ответил Nikolay_Po на В конечном итоге, нашёл и опробовал на системе с BTRFS утилиту
jdupes от Jody Bruchon'а.eddy-em.livejournal.com github.com/eddyem
-
- jdupes быстрее, как мне показалось. - Nikolay_Po(Сегодня, 14:43)
- jdupes, по заявлениям автора, в 7 раз (в среднем) быстрее. Он
ругался, что тормозной fdupes отказался принимать его коммиты,
поэтому и сделал свой jdupes. - Nikolay_Po(Сегодня, 14:32)
- Если написать на сях или крестах, да еще и в shared memory
разместить БД, а не на диске, то еще шустрей должно быть. Разве что
все равно остается малый вариант коллизий, поэтому иногда для
надежности генерят два разных хэша, а то и вовсе побайтно
сравнивают файлы с одинаковыми хэшами... - Eddy_Em(Сегодня, 14:42)
- однако и "двух разных хэшей" возможны дубликаты файлов... так что только бинарное сравнение - Zoro(Сегодня, 15:24)
- Ну он так и делает. По хешам, он ищет не одинаковые файлы, а разные. Одинаковые в любом раскладе сравнивает побайтно. - Nikolay_Po(Сегодня, 14:44)
- Если написать на сях или крестах, да еще и в shared memory
разместить БД, а не на диске, то еще шустрей должно быть. Разве что
все равно остается малый вариант коллизий, поэтому иногда для
надежности генерят два разных хэша, а то и вовсе побайтно
сравнивают файлы с одинаковыми хэшами... - Eddy_Em(Сегодня, 14:42)