Aleksey_75 (17.07.2022 00:03, просмотров: 197) ответил Kpoк на Вы-религиозная экстремистски. В 64 ГБ вместятся все знания,
накопленные человечеством. Зачем Вам стока?-
- Там расположена всего лишь ... одна матрица размером 100000х100000
элементов, заполненная данными из GenBank'а. Именно для ее
аллокации и нужна столь большая память. Число 100000 равно числу
белков, выбранных их этого банка. Из этой матрицы надо вычислить 3
ее старших собственных вектора. Только и всего. :) - Kceния(17.07.2022 00:47)
- Подозреваю, что при таких размерах матрицы стоит подумать о
оптимальном её представлении в памяти. Всякие там тайловые
размещения или ещё как - от алгоритмов зависит. - LightElf(17.07.2022 17:28)
- Матрица и так храниться в "упакованном виде" (packed format), чтобы
не расходовать память на хранение ее симметричной (относительно
главной диагонали) половины. Экономия памяти при этом очень
значительная, но скорость операций с такой матрицей заметно ниже. - Kceния(18.07.2022 13:00)
- Я имею в виду, что возможно в вашем случае есть смысл рассмотреть
разные варианты раскладывания матрицы в памяти, чтобы повысить
кэш-локальность. Типа memory tiling в графике. LightElf(1 знак., 18.07.2022 15:23, ссылка)
- Я вынуждена пользоваться "заводским" софтом (Intel Math Kernel Library), т.к. мне самой такую процедуру не написать. А потому должна держать матрицу в рекомендуемом там формате. К тому же матрица и так уже максимально плотная - число ячеек равно числу пар белков N2/2, а потому, как ее не тасуй, меньше ячеек у нее не станет. - Kceния(19.07.2022 17:58)
- Я имею в виду, что возможно в вашем случае есть смысл рассмотреть
разные варианты раскладывания матрицы в памяти, чтобы повысить
кэш-локальность. Типа memory tiling в графике. LightElf(1 знак., 18.07.2022 15:23, ссылка)
- Матрица и так храниться в "упакованном виде" (packed format), чтобы
не расходовать память на хранение ее симметричной (относительно
главной диагонали) половины. Экономия памяти при этом очень
значительная, но скорость операций с такой матрицей заметно ниже. - Kceния(18.07.2022 13:00)
- Что представляет собой одна ячейка матрицы данных из ГенБанка?
Число, вектор, строка? - Kpoк(17.07.2022 13:46)
- Число типа double (float64). Само это число имеет смысл меры
подобия между пространственными структурами любой пары белкой из
ГенБанка. Рассчитывается сложным способом и допускает вариации, но
в вычислительном отношении не трудно (рассчитается за 5 минут).
Затем эта мера подобия трактуется как расстояние (полное
подобие/совпадение = нулевое расстояние, при неполном расстояние
растет). Получаем на том же месте матрицу расстояний, которую
преобразуем в матрицу координат Kceния(426 знак., 18.07.2022 13:16)
- Идеальная задача для видеокарт! - Kpoк(18.07.2022 16:10)
- Полагаю, что ни у одной видеокарты нет памяти объемом 64ГБ. К тому
же GPU хороши для распараллеливаемых или параллельных задач, а для
моно-задачи от нее мало проку. - Kceния(19.07.2022 18:02)
- До сегодняшнего дня был уверен, что задача о собственных векторах очень легко распараллеливается. Но это было ещё во времена ЕС-ЭВМ, мог и перепутать. Пойду, полистаю классиков марксизма. - Kpoк(19.07.2022 18:33)
- вот чуть ниже я давал ссылку на "видеокарту" со 128GB. но вообще, если хотите к современном мире получить ускорение расчётов - ищите возможность распараллелить ваш алгоритм. иначе никак. минимум десяток лет 90% подъёма производительности в мире ПК идёт в виде распараллеливания. Mahagam(185 знак., 19.07.2022 18:06)
- Редкая
птица долетитвидюха имеет 75 гигов рамы - LightElf(18.07.2022 18:54)- один хрен имеет Mahagam(1 знак., 18.07.2022 21:41, ссылка)
- Полагаю, что ни у одной видеокарты нет памяти объемом 64ГБ. К тому
же GPU хороши для распараллеливаемых или параллельных задач, а для
моно-задачи от нее мало проку. - Kceния(19.07.2022 18:02)
- Идеальная задача для видеокарт! - Kpoк(18.07.2022 16:10)
- Число типа double (float64). Само это число имеет смысл меры
подобия между пространственными структурами любой пары белкой из
ГенБанка. Рассчитывается сложным способом и допускает вариации, но
в вычислительном отношении не трудно (рассчитается за 5 минут).
Затем эта мера подобия трактуется как расстояние (полное
подобие/совпадение = нулевое расстояние, при неполном расстояние
растет). Получаем на том же месте матрицу расстояний, которую
преобразуем в матрицу координат Kceния(426 знак., 18.07.2022 13:16)
- вам нужна высокая скорость общения проца с памятью, мамка с
серверным процем вам в помощь. 4 канала как никак. m16(1 знак., 17.07.2022 00:59, ссылка)
- На счет скорости я могу подождать окончание расчета сутки-другие, т.к. такие расчеты делаются редко. Проблема лишь в объеме памяти, т.к. при ее недостатке я вообще задачу с большим числом данных запустить не могу. - Kceния(18.07.2022 13:20)
- Вот еще чутка поджал. 64.9 нс... Гyдвин(1 знак., 17.07.2022 11:06, картинка)
- Подозреваю, что при таких размерах матрицы стоит подумать о
оптимальном её представлении в памяти. Всякие там тайловые
размещения или ещё как - от алгоритмов зависит. - LightElf(17.07.2022 17:28)
- Там расположена всего лишь ... одна матрица размером 100000х100000
элементов, заполненная данными из GenBank'а. Именно для ее
аллокации и нужна столь большая память. Число 100000 равно числу
белков, выбранных их этого банка. Из этой матрицы надо вычислить 3
ее старших собственных вектора. Только и всего. :) - Kceния(17.07.2022 00:47)
