Какой кварц (тип, производитель) используете? Какая у него нагрузочная емкость? Если типовая 12,5пФ, то попробуйте убрать все внешние конденсаторы и установить биты XCAP0 и XCAP1 в BCSCTL3. В даташите написано, что в такой конфигурации бит (XCAPx=3) нагрузочная емкость, включая емкость выводов самого кристалла MSP430, составляет около 11пФ плюс 1-1,5пФ емкость кварцедержателя и монтажа и получается близко к номиналу. Должно работать. С резистором на XOUT у меня на MSP430F248 тоже работало неустойчиво.