Включение LTO в одном ряду со сменой компилятора. Если уже
включать, то на свежей версии. Ещё: раз уж борешься за скорость,
просто проверь с другой версией компилятора. У меня 14й дал больший
размер кода, чем 12й и 13й. А значит - размотал циклы поглубже.
Может, и скорость вырастет. Стоит, как минимум, попробовать и
сравнить. Кроме того, полезным могут оказаться новые предупреждения от другой версии компилятора - лучше устранишь потенциальные баги.