Общая память не нужна, необходимо вычислять глобальную сумму с раздачей назад: типа каждый проц иммет одно или несколько (до 100 чисел) их надо все просуммировать (то есть получить 1-100 сумм) и результат раздать всем процам. На уровне мессадж-пассинкга я этот алгоритм еще с 1992 года раз сто на туевой куче платформ реализовывал :)