caxapa.ru :: А почему в "единый файл"? Пусть каждый поток пишет в свой файл, но каждая запись пусть имеет сквозной номер. Таким образом при разборе можно выявить реальную последовательность записей, при этом упростить формат файла каждого потока (сделав записи в каждом файле своего одинакового размера). Этот принцип используется для фиксации событий с возможностью составить полный журнал событий.

VLLV (10.07.2020 20:38, просмотров: 509) ответил MBedder на Накидайте идей по оптимальному формату записи для системы сбора данных

А почему в "единый файл"? Пусть каждый поток пишет в свой файл, но каждая запись пусть имеет сквозной номер. Таким образом при разборе можно выявить реальную последовательность записей, при этом упростить формат файла каждого потока (сделав записи в каждом файле своего одинакового размера). Этот принцип используется для фиксации событий с возможностью составить полный журнал событий.

Ответить

- Это сейчас и делается, но вместе со "сборным" файлом. Без него стремновато - отдельные файлы могут потеряться/побиться по пути от самолета до московского обработчика - MBedder(10.07.2020 20:44)
  - Ты openoffice видел? Его файлы на самом деле - зип. Только расширение другое. И в этом зипе чего только нет. - fk0(10.07.2020 21:24)
    - И ОО, и аутлук (ниже) не в реалтайме с оверлаппингом блоков данных работают - MBedder(11.07.2020 00:00)
      - Что значит "оверлаппинг блоков" ? Ты или что-то недоговариваешь, или что-то не понимаешь. Я так понимаю, что на виндовсе запущены какие-то программы которые пишут какие-то файлы. Ну и пусть пишут в отдельные файлы. Потом в конце зазипуешь и всё. А ты хочешь сразу писать в один результирующий файл? Но какой в этом смысл? Если он у тебя сразу по сети куда-то уезжает, тогда есть. А если на диск -- то не очень осмысленно. Т.е. ты хочешь сериализовать несколько (именованых, fk0(163 знак., 11.07.2020 00:43)
        
        Да, недоговорил - самое печальное то, что данные, прилетающие от отдельных приборов-источников, не содержат TimeStamp'ов, поэтому отдельные файлы в чистом виде бессмысленны, и зипование не позволит их потом раззиповать с сохранением временнОго порядка - MBedder(11.07.2020 11:32)
        
        Ну и укладывайте все в общий архив по порядку прихода на регистрацию. ETM(223 знак., 11.07.2020 17:35)
        
        Спасибо. Пока снабдим метками все пакеты, а дальше будем поглядеть - MBedder(11.07.2020 18:18)
        
        а нельзя маркировать эти данные временем прилёта нельзя? неточно? - General(11.07.2020 13:58)
        
        Можно, и сейчас как раз с этим упражняюсь. Точность достаточна +-10 мс - MBedder(11.07.2020 14:11)
  - Тогда не майся ерундой и отдай на откуп программерам - вот к примеру файл данных аутлука может быть практически бесконечен, при этом обеспечивается серфинг по сообщениям по разным критериям. Пусть сами думают. - VLLV(10.07.2020 20:58)

Средства и методы разработки