Дело в более нижнем уровне. ARP или ethernet. Может даже чисто электрическая причина. Свитч он не понимает UDP там или GRE, или ещё что, ему всё равно. Но свитч разбирается в MAC-адресах (и только). Для начала можно фиксированную ARP-таблицу сделать (аналог arp -s).