Использовать X11 в эмбеддеде - это сильно. Тут достаточно примитивнейшего композитинга поверх фреймбуфера.
Вопрос чем этот композитинг делать. Иногда в это умеет контроллер дисплея, иногда для этого пихают 2D-ускоритель (Vivante GC320), иногда используют OpenGL ES.
Технически малина должна справиться, но не из X-сервера (да на ней даже вяленый тормозит)