caxapa.ru :: А что по времени быстрей: мой баш-скрипт или эта утилита?

Eddy_Em (25.03.2026 14:30, просмотров: 96) ответил Nikolay_Po на В конечном итоге, нашёл и опробовал на системе с BTRFS утилиту jdupes от Jody Bruchon'а.

А что по времени быстрей: мой баш-скрипт или эта утилита?

ЕМНИП, fdupes сильно по времени проигрывал.

eddy-em.livejournal.com github.com/eddyem

Ответить

- jdupes быстрее, как мне показалось. - Nikolay_Po(25.03.2026 14:43)
- jdupes, по заявлениям автора, в 7 раз (в среднем) быстрее. Он ругался, что тормозной fdupes отказался принимать его коммиты, поэтому и сделал свой jdupes. - Nikolay_Po(25.03.2026 14:32)
  - Если написать на сях или крестах, да еще и в shared memory разместить БД, а не на диске, то еще шустрей должно быть. Разве что все равно остается малый вариант коллизий, поэтому иногда для надежности генерят два разных хэша, а то и вовсе побайтно сравнивают файлы с одинаковыми хэшами... - Eddy_Em(25.03.2026 14:42)
    - однако и "двух разных хэшей" возможны дубликаты файлов... так что только бинарное сравнение - Zoro(25.03.2026 15:24)
      - Это - долго и уныло. Я предпочитаю так не делать. Если случится одна коллизия на триллион - ну и хрен с ней! - Eddy_Em(25.03.2026 16:32)
        
        ок. а если один файл это дарственная на луну, а другой пожизненный эцих с гвоздями. - это тоже "ну и хрен с ней" ? - Zoro(26.03.2026 00:31)
        
        Конечно! Eddy_Em(73 знак., 26.03.2026 08:35)
    - Ну он так и делает. По хешам, он ищет не одинаковые файлы, а разные. Одинаковые в любом раскладе сравнивает побайтно. - Nikolay_Po(25.03.2026 14:44)

Средства и методы разработки