caxapa.ru :: Тренд развития моего персонального интернета показывает,

Codavr (16.12.2013 13:00 - 13:02, просмотров: 102) ответил Evgeny_CD на Децентрализация - новый тренд развития! -> Пост на хабре и некоторые мои мысли. Персональная big data.

Тренд развития моего персонального интернета показывает, что объем нужных, полезных и интересных мне данных нарастает экспоненциальными темпами. Если бы не анлим и быстрый инет то мне никаких денех не хватило бы хранить локально все что я хочу. Кроме того многим из того что я посчитал нужным сохранить я так ни разу и не воспользовался или воспользовался один-два раза. Тем не менее эта инфа продолжает храниться частью потому что руки не доходят ее грохнуть, частью в надежде, что когда-нить выдастся свободное время, или возникнет острая необходимость. Уверен, что у очень многих та же история. Глобальный интернет это просто общее хранилище данных которые интересны многим. Даже то что зачастую инфа многократно дублируется имеет свой смысл - она многим интересна, и тем самым избыточность позволяет надежнее ее сохранить.

Долой империалистический интернационал!

Ответить

- Скажи мне - а каков твой суммарный объем перс. данных (не в смысле ФЗ о перс. данных)? Вот у меня пока все на паре 4T винчей помещается... - Evgeny_CD(16.12.2013 13:03)
  - Книга текста занимает мегабайт. Гигабайт -- это тысяча... ну пусть с учётом накладных расходов -- 100 книг. Террабайт -- это уже слишком толстая библиотека, такой объём информации на русском языке в электронном виде едва ли существует - fk0(16.12.2013 13:08)
    - Кроме текстов есть еще медия всякая, софтинки полезные. Огромное количество файла хранится в виде html а там какойнить битмап размером в 1 пиксель занимает 4 килобайта, а их таких сотни тыщ, будь он не ладен этот хтмл. - Codavr(16.12.2013 13:11)
    - + ВСЕ данные ВСЕХ моих проектов за 25 лет.... - Evgeny_CD(16.12.2013 13:11)
      - +видео с видеорегистратора из машины за каждый день. Я раньше каждый день сливал. За год 2Тб забил. - Ale3000(17.12.2013 06:50)
        
        И что после с таким сокровищем делать? Пересматривать на досуге? - mr-x(17.12.2013 10:22)
        
        Я с помощью этого архива нашел точную дату, когда по нашему району проезжала машина Google, которая панорамы снимает. Зачем - это уже другой вопрос. - Ale3000(17.12.2013 12:18)
        
        В 90-е складывал в коробочку проездные. Они у нас были красивые, с картинками. Недавно дочка наткнулась на эту коробочку. Восторга было. На сколько меньше было бы сейчас политсрачей если можно было видеозаписи повседневной жизни показать. Может Codavr(98 знак., 17.12.2013 10:34)
        
        Существенная разница в том, что проездные можно пересмотреть за несколько минут, а сливы с регистратора посмотреть можно только в принципе, теоретически. На практике никто этого делать не будет. Сегодня люди генерирует столько цифрового мусора, mr-x(649 знак., 17.12.2013 11:02)
        
        Сегодняшний мусор завтра становится свидетельством истории. Закон Мура распростарняется и на накопители информации. Производительность удваивается каждые 1.5 года, объемы накопителей каждый год, полоса каналов связи каждые 9 месяцев. Codavr(427 знак., 17.12.2013 11:04 - 11:20)
      - А не рисковано складывать ВСЕ яйца в ОДНУ корзину? :) Каков уровень надежности этих Тб? - ut1wpr(17.12.2013 00:15)
        
        6 винчей по 4Т каждый. Суммарный объем данных порядка 6 Т. Я же не больной... - Evgeny_CD(17.12.2013 01:06)
      - Порядок наводить не пробовали?) "Смотрите Иван Иваныч,а вот и майка показалась, а вы говорили что ее у Вас украли"(С) - lexxx-lexxx(16.12.2013 15:28)
        
        пробовали, черевато :) тож держу все как есть. максимум зипую. срезы по майлстоунам тож отдельно лежат готовые к компиляции. - RED_DRAGON(16.12.2013 22:25)
      - + инсталяхи ВСЕГО ПО, которое использовалось... - Evgeny_CD(16.12.2013 13:22)
        
        Не хватает 10 террабайтов фильмов которые просматривались в промежутках... - fk0(16.12.2013 14:19)
        
        Я редко сморю фильмы. А тех, которые хочется сохранить - совсем мало. - Evgeny_CD(16.12.2013 14:26)
      - И самое поразительное нет-нет да и пригождаются. И заранее хрен скажешь что может пригодится. - Codavr(16.12.2013 13:14)
        
        + много! Какой-нибудь тестовый фалик, набитый еще в DOS Qedit... - Evgeny_CD(16.12.2013 13:17)
        
        Инфу уничтожать низзя. Природа отомстит. - Codavr(16.12.2013 13:19)
  - У меня меньше. Суммарный объем около 3Т (около 20% дублируется, троируется итд). В начале 90-х помещался на 20 5" дискетах. - Codavr(16.12.2013 13:05 - 13:08)
    - Какой-нибудь сраный Ньютон нагенерил продукта в тысячу раз меньше :-) - Крок(16.12.2013 15:00)
      - Попытался тут в инете найти гравюру из учебника физики с установкой на которой он свой закон всемирного тяготения выводил. Хер там, не нашел. Публика только про яблоко помнит, а крутильные весы подвергнуты забвению. - Codavr(16.12.2013 15:05 - 15:12)
        
        крутильные весы, у кавендиша - значительное усовершенствование - RED_DRAGON(16.12.2013 22:26)
        
        У Кавендиша такой опыт был. - H7H2V(16.12.2013 19:02, ссылка)
        
        А гравюры той все равно нет. - Codavr(17.12.2013 01:13)
      - :-) "Не все йогурты одинаково полезны" © - SciFi(16.12.2013 15:02)
    - Если все мои данные как следует рассортировать и устранить неявное дублирование - раза в 2 меньше станет. - Evgeny_CD(16.12.2013 13:11)
      - Но 4T винч за 10кр стоит дешевле, чем море времени на сортировку :) - Evgeny_CD(16.12.2013 13:12)
        
        Не подскажете как автоматизировать такое? Много файлов, иногда с одинаковыми именами, иногда с разными, но файлы до бита одинаковые. Как их искать и удалить дубли? На ум приходит посчитать для всех файлов MD5 и уже это и сравнивать. - alex68(16.12.2013 14:07)
        
        гугл в помощь - SciFi(16.12.2013 14:26, ссылка)
        
        И дальше? Вот есть некая совокупность файлов, которая суть слепок рабочего момента проекта. Х.з. сколько лет назад. И есть библиотека таких слепков. Дедупликатор радостно найдет дупы и оставит один из них. А остальные грохнет. И слепки перестанут Evgeny_CD(62 знак., 16.12.2013 14:33)
        
        Именно так. Пока что всякими дупкиллерами работаю в режиме поиска дублей. Грохаю исключительно в ручном режиме. - Codavr(16.12.2013 14:48)
        
        Кстати, это мысль, нужна софтина, которая умеет находить разные последовательные версии одного файла(или целого дерева каталогов) и засовывать их в базу Git. Это было бы вкусное решение. - =AlexD=(16.12.2013 14:44)
        
        Ага. А потом оказывается что он грохнул более позднюю версию в которую внесены ошибочные исправления а надо было оставить предпоследнюю. Как то раз так и нарвался с тех пор грохаю только в ручном режиме. А уж хтмл архивы там одинаковых файлов Codavr(137 знак., 16.12.2013 14:51 - 14:54)
        
        Git - ключевое слово в моём сообщении. Ничё не "грохается", любую версию можно взять, - лишнее место на диске, + возможность посмотреть правки. - =AlexD=(17.12.2013 06:36)
        
        Понимаю, что действуя по старинке только теряю время, но блин, как всегда руки не доходят разобраться с этим делом да привести все в порядок. Денежные кредиты банки выдают, а вот временных хер там. Хорошая вещь всем нужна. - Codavr(17.12.2013 10:01)
        
        Причём линки должны быть с функцией copy on write. А какая файловая система такое умеет? Пара экспериментальных для linux... Теоретически любая с версиями файлов (технологии, кстати, со времён DEC -- налицо дедградация, а не прогресс), но fk0(29 знак., 16.12.2013 14:39)
        
        Вот и я о том же. :( Я не нашел устраивающего меня решения по "интеллектуальному хранению". Вот и инвестирую в HDD промышленность.... - Evgeny_CD(16.12.2013 14:44)
        
        Спасибо за подсказку. - alex68(16.12.2013 14:33)
        
        Для этого есть готовые софты. Принцип да, такой: считаем сумму, хеш и т.п. и вносим в базу, индексируем по сумме. Находим строки с одинаковой суммой и сравниваем уже побайтово. На самом деле таких файлов не много. Нужно научиться только fk0(84 знак., 16.12.2013 14:22)
        
        Это часто скачанные откуда-то разные документы, которые, увы, иногда реально проще найти гуглем и скачать, чем искать на своих дисках или архивах. Но вот имена могут быть разные, потому и надо их как то по содержимому искать. - alex68(16.12.2013 14:30)
        
        Жена назаписывала на дивиди несколько сотен фильмов, а смотрит исключительно из инета ибо там их найти проще. - Codavr(16.12.2013 14:57)
        
        Сделай проще, отключи старый диск, подключи новый. Всё что нужно - тяни из интернета или со старого диска. Через пару лет просто удалишь со старого всю инфу. - =AlexD=(16.12.2013 14:42)
        
        А потом выяснится, что там был .PCB старой платы от PCAD 4.5, которая стояла в лабораторном стенде, на который неожиданно напал паяльник. И которую так обломно переразводить заново... - Evgeny_CD(16.12.2013 14:46)
        
        История почти один в один, только плата есть, а прошивка и рабочие файлы были на диске уволившегося работника который волевым решением начальника форматнули не разбирая. Вроде не такая уж великая потеря, но неделю убьешь переписывая. Абыдна. Новый Codavr(54 знак., 16.12.2013 15:02 - 15:26)
        
        Одинаковые документы могут побайтово отличаться... Вообще нужна поисковая система локальная. Яндекс что-то своё делал, не знаю чем кончилось. В микрософт встроена со времён XP -- только "не работает вообще". Glimpse -- 20 лет в обед. Работает, но fk0(26 знак., 16.12.2013 14:35)
        
        Именно так и есть. У меня даже папка есть с названием "Рабочие столы" :) Codavr(126 знак., 16.12.2013 13:15)

Средства и методы разработки