caxapa.ru :: Кто знает, как бороться с отложенной записью в директорий под Win7+?

Ксения (30.03.2018 03:08, просмотров: 11347)

Кто знает, как бороться с отложенной записью в директорий под Win7+? Проблема такова: Раньше под WinXP запись длинного файла на диск (например, что-то скачиваю из интернета с медленной скоростью) отражалась в директории - периодически глядя на содержимое директория, можно было прочесть, сколько байт в нем уже успело накопиться (при буферизация записи результат не сильно отличался от реального, т.к. размер буфера обычно невелик). Однако с появлением Win7 ситуация резко изменилась - состояние директория теперь перестало отражать ТЕКУЩИЙ размер файла. А типично размер файла в директории стоит нулевой до тех пор, пока запись не закончится. Более того, создается впечатление, что всё это время файл пишется в какое-то другое место и под другим (временным?) именем, а при окончании записи копируется в данный директорий, и затем временный файл удаляется. Причем, именно копируется, а не переименовывается, чтобы этим способом избавиться от сильнейшей фрагментации только что принятого файла, особенно, если он пишется на диск, где стоит операционная система. Т.е. сильно подозреваю, что этот механизм введен именно затем, чтобы на диске не образовывались сильно фрагментированные файлы. Вопрос: можно ли где-нибудь в настройках Win7+ вернуть назад прежний режим записи, который существовал во времена WinXP и ранее?

Ответить

- Отключить антивирус?! - Evgeny_CD(30.03.2018 18:08)
  - Тот же эффект на компьютере, где антивирус вообще никогда не стоял. Т.е. уже испытывала на чистой системе. Но и тут неожиданность - та же самая Windows на Intel-процессоре (Core i5) какой-то результат выдает (хотя и неверный), а на процессорах AMD Ксения(54 знак., 30.03.2018 19:01 - 19:05)
    - А встроенный антивирь win7? Все это сильно на глючный код приложений похоже. - Evgeny_CD(30.03.2018 22:13)
      - Вероятно различие на уровне драйверов - у них чипсеты разные. - Ксения(30.03.2018 22:31)
- Демонстрация эффекта: идем по ссылке на скачивание с сайта IAR файла EWARM-CD-8222-15996.exe, указываем ему место на диске и запускаем скачивание. А тем временем открываем какую-нибудь гляделку (FARmanager, TotalComander, Проводник) и смотрим на Ксения(401 знак., 30.03.2018 17:45, ссылка)
  - Плохая демонстрация. По правой кнопке мышки в свойствах показывается, что файл плавно увеличивает размеры. Семерка, опера, RAM. - Экспериментатор(30.03.2018 18:09, )
    - Какая семерка? 32 или 64 бит? - Ксения(30.03.2018 18:10)
      - 32 - Экспериментатор(30.03.2018 18:17, )
        
        У меня 64. Причина может быть в этом. - Ксения(30.03.2018 18:18)
        
        У 32 тоже есть близкие по смыслу проблемы, я о них внизу Вашего топика написал.На IDE устройствах (CF-картах) ошибок не замечал. - Экспериментатор(30.03.2018 18:31, )
  - Win7E по F5 показывает, сколько загрузилось - AU08(30.03.2018 17:50)
  - Ну и в чем, собственно, проблема? lloyd(125 знак., 30.03.2018 17:48)
    - Проблема в том, что на WinXP такого эффекта не было. Поэтому и не было временной задержки после окончания загрузки и тем моментом, когда принятые (неизвестно куда) данные не скопируются в файл назначения. При гигабайтных размерах файла это время Ксения(780 знак., 30.03.2018 18:05)
      - >WinXP такого эффекта не было lloyd(507 знак., 30.03.2018 18:22 - 18:31)
        
        Я не WinXP пытаюсь оправдать, а объясняю, что программа старая, тех времен, когда в директорий писалось напрямую и никакие "синхронизации" делать было не надо. А потому и тех программистов не в чем упрекнуть. Ксения(381 знак., 30.03.2018 18:46)
        
        Ок, кто тогда мешает воткнуть между этими двумя программами тупо задержку? - lloyd(30.03.2018 18:48)
        
        Потому что не я их вызываю, а головной exe-модуль. Что-то он делает сам, но активно пользуется другими exe-прогами в том же пакете, которые он вызывает через COMMAND.COM, т.е. не процесс создает, а симулирует команду операционной системы. Влезть в Ксения(145 знак., 30.03.2018 18:57)
        
        ну хотя бы прокси можно же сделать. Программу, что будет вызывать программу - lloyd(30.03.2018 19:02)
        
        Наверно можно. Но тогда все программы надо переименовать, а самой написать их тезок, которые вызывают переименованные программы с задержкой. В принципе это хорошая идея - может сработать. - Ксения(30.03.2018 19:08)
      - Вроде всегда файл качается в Temporary Internet Files, а уже потом кидается в указанную директорию. Это не виндовая фича, а браузерная. - Codavr(30.03.2018 18:22)
        
        Это фича не браузерная, а конкретно осла - lloyd(30.03.2018 18:24)
        
        В лисе точно так же. - Codavr(30.03.2018 18:25)
      - Повторяю. Сделайте сетевой диск на той операционной системе и железе, где данные пишутся сразу по месту назначения. Если проблемы с отправкой, то Вы это легко увидите по мониторингу сетевой загруженности. - Экспериментатор(30.03.2018 18:16, )
        
        В данном случае программа пишет файлы "под себя" - в тот же директорий, в котором она сама находится, а тому заставить ее писать в удаленное хранилище я не могу (или не знаю как). - Ксения(30.03.2018 18:25)
        
        Тогда ой. Можете написать прокладку, которая будет проверять размер требуемого файла. Когда файл примет подобающие размеры, то он переименовывается правильным именем, которое воспринимает ведомая программа. - Экспериментатор(30.03.2018 18:46, )
- Имхо проблема отсутствия flush. Часто замечаю что разные качалки по разному работают. Где то по нулям пока не докачается, где то раз в минуту обновляется, где то в реалтайме. - 1111111(30.03.2018 16:02)
- 1) сделать отдельный раздел и запретить любое его кеширование. На этом разеде пусть только прога работает. Evgeny_CD(175 знак., 30.03.2018 15:21)
- А с какой целью интересуетесь(с)/Матроскин/ В мозилле есть "ход текущих загрузок". В нем и смотрю скорости загрузки и замеры. - Гудвин(30.03.2018 15:11)
- Стойкое ощущение попытки решения проблемы способом держания ножа за лезвие. lloyd(417 знак., 30.03.2018 12:34)
  - У меня на 7-ке не работает "комплекс" программ (чужих), которые передают друг друге промежуточные результаты через текстовые файлы. Получается фигня. Но если запустить через отладчик и выдерживать паузу после каждого закрытия файла, но результат Ксения(63 знак., 30.03.2018 12:48)
    - Надо понимать, что у windows вообще нет нормальных файлов как в linux (файл-дескрипторов уровня ядра), там file handle -- это результат выдаваемый win32 api слоем, который сам вытворяет чего хочет. fk0(532 знак., 30.03.2018 13:39, ссылка)
    - Если файлов считанные единицы, может быстро написать своего "посредника"? - AU08(30.03.2018 13:23)
    - Пытались подражать цепочкам типа dd if=/dev/sda | xz -9 | split -b 2G --additional-suffix=.xz - MyFuBu.iso. щтоле? - Николай Коровин(30.03.2018 13:09)
    - > "комплекс" программ (чужих), которые передают друг друге промежуточные результаты через текстовые файлы lloyd(169 знак., 30.03.2018 12:53)
      - А ничего, что IPC вида shm в линуксе является обычными файлами в tmpfs? Кого там ещё расстреливать. - fk0(30.03.2018 13:13)
      - Пробовала на RAM-диске запускать - тот же дефект. - Ксения(30.03.2018 13:12)
        
        Тогда примите мои поздравления - вам достался индусский легаси код. lloyd(81 знак., 30.03.2018 13:13)
        
        Вопрос, код в бинарном виде, или в исходниках? Если в исходниках -- пересобрать со статическими версиями libc той антикварной версией студии. Если в бинарниках -- подложить старые длл, не знаю как. Или, как вариант, заинжектить длл которая будет fk0(277 знак., 30.03.2018 13:23)
      - Тяжёлый случай. Их мама не учила в детстве, что такие файлы закрывать надо? Или flush делать хотя бы? - Николай Коровин(30.03.2018 13:06)
        
        алгоритм может еще с win3.1 остался, как работает никто не разбирался - 3m(30.03.2018 13:23)
- КМК это проблема именно апдейта Directory Entry, а не файла. Почему-то он стал проводиться только после закрытия. Что, кстати говоря, делать с файлами непривилегированного доступа нельзя! Потому что другая программа, которая может захотеть открыть Николай Коровин(678 знак., 30.03.2018 10:11)
- a totalCommander отражает? - Constantin24(30.03.2018 07:28)
  - Никто не отражает. Но длина у файла сразу же появляется, если этот файл (с видимой нулевой длиной) попытаться читать. Тогда в директории появляется его длина на момент чтения, но дальше все равно сама не растет - ждет окончания загрузки. - Ксения(30.03.2018 07:43)
    - а теперь проверил просто Проводником. То же самое. Виден прогресс копирования. Я чего-то не так понял? - Лагунов(30.03.2018 08:52)
    - сейчас Тоталом проверил. Да, там сразу появляется файл с конечной длиной. Но прогресс копирования же отражается. Что не так? Win7 - Лагунов(30.03.2018 08:50)
      - Файл с конечной длиной никак появиться не может, если скачивание идет медленно, т.к. его полный размер в это время еще неизвестен. Эффект отчетливо появляется при копировании файлов по сети с одного компьютера на другой, а не когда с диска на диск Ксения(14 знак., 30.03.2018 12:27)
        
        А если выхлоп своей проги, тот же эффект? Потому что это может действительно быть тупо сетевой клиент. У мастдая семь пятниц на неделе, могли и работу по SMB переложить на браузерный движок О_О - Николай Коровин(30.03.2018 12:29)
        
        Если прога своя, то длина файла, указанная в директории, меняется только тогда, когда делаю fflush(). А если не делаю, то вижу ноль, пока файл не закроется на fclose(). - Ксения(30.03.2018 12:35)
        
        Это похоже больше всего на гипертрофированной толщины кэшище. А если пару гигабайт таким макаром слить, тоже терпит до последнего? - Николай Коровин(30.03.2018 13:01)
        
        Винда (да и пингвин), к примеру, на кеширование чтения занимает всю свободную оперативную память. А это могут быть гигабайты. - lloyd(30.03.2018 13:11)
        
        А причём здесь ОС тогда, если виновата libc? - fk0(30.03.2018 12:36)
        
        libc не виновата, libc все делает правильно. fwrite вовсе не гарантирует, что данные должны в ходе вызова сразу достичь цели. - lloyd(30.03.2018 12:44)
- а это не может быть связано с типом файловой системы, FAT или NTFS? - AlexG(30.03.2018 05:56)
  - NTFS в обоих случаях. Но FAT под Win7 я не пробовала. - Ксения(30.03.2018 06:30)
- Вроде по нажатию F5 показывает размер файла? - AU08(30.03.2018 03:18)
  - Обновление чтения директория не помогает, т.к. проблема именно в том, что у файла всё это время в самом деле нулевой размер, а не чтение из директория глючит. Отсюда и впечатление, что файл пишется не в этот директорий, а куда-то еще во времянку. - Ксения(30.03.2018 03:44)
    - Почитайте советы по настройке SSD, там упоминались варианты cache при записи - AU08(30.03.2018 04:13)
      - Ещё антивирус поставить, реестр почистить, установить дефрагментатор ОЗУ. Может поможет. - fk0(30.03.2018 10:48)
      - Полагаю, что cache тут ни при чем, т.к. в точности тот же эффект воспроизводится и на RAM-диске (виртуальный диск из памяти), если его создать. Т.е. это общая стратегия операционки так файлы писать (через временный файл-накопитель). - Ксения(30.03.2018 04:26 - 04:30)
        
        А Win7 тоже на этом RAM диске была? Поднятая Вами проблема носит очень обширный характер. У меня сложилось представление, что причина в новых дисках c буфером и AHCI вместо IDE , а также поддержкой Win7 этого режима. Я так думаю, что диск Экспериментатор(641 знак., 30.03.2018 13:41, )
        
        А где гарантия, что это не стратегия браузера? Мазилла в линуксе создаёт два файла: один с правильным именем и нулевым размером, а второй временный и в него пишет. Потом второй переименовывает на место первого, когда всё скачает. - fk0(30.03.2018 10:49)
        
        Я уж писала, что тот же эффект имеет место без браузера (!) при закачке с помощью wget, а она довольно старенькая - в TEMP-директорий едва ли полезет. - Ксения(30.03.2018 19:00)
        
        +1. - Boвa(30.03.2018 15:03)

Средства и методы разработки