большой объем неповторяющейся памяти, смысла кэшировать нет, вероятность hit==0. и обычно выборки потоковые. да, нужен хороший DRAM контроллер, который умеет бёрсты гнать и банк не закрывать, ну и в программинг мануалах пишут рекомендации, как по банкам раскладывать видео и цпу-шную памяти.