Средства и методы разработки

если память закончиться в приложении (например утечка памяти), умрёт оно или другое, по выбору "киллера", а если в ядре ...

Как вариант для извращений в ядре, рекомендую выделить себе пул больших (при наличии поддержки) страниц (hugepages), так например делают в DPDK, т.к. к ним доступ немного быстрее из-за более короткой цепочки дескрипторов, и к нему прикрутить аллокатор.