О смысле всего сущего

Причем тут массивы и их индексы? Кэшируется только память! Т.е. память вашего массива прокэширована в одном месте, а спекулятивно добытые данные в другом. И эти кэши никак не могут перепутаться, чтобы вторые подлезли под первые. Адресацию вы вольны использовать любую, но кэш хранит только ранее прочитанные байты, привязанные к их адресам, и он никогда не отдаст вам этот байт при обращении по чужому адресу. А по истинному адресу обратиться нельзя - произойдет исключение. И не важно, прямое это обращение к памяти, косвенное или по индексу.