Даже огромный документ, расписывающий что да как. Может быть на чем-то а-ля NuttX заведется почти без боли.
https://www.x.org/releases/X11R7.7/doc/xorg-server/Xserver-spec.html