Судя по трем посылкам это обычная взаимная аутентификация на симметричной крипте. То есть шлем партнеру хрень, он ее шифрует своим ключом, отправляет нам, мы расшифровываем и удостоверяемся что оно верно, после чего шлем зашифрованное нашим ключом и с другой стороны тоже убеждаются что мы знаем ключ.
Очевидно это не блочный шифр потому как там 99% шифров от 8 байт на блок а у тебя 4. Значит это скорей всего 
потоковый . Например из полновесных шифров 
RC4  с фиксированным ключом (таблицей) легко влезет. Но я бы предположил что здесь что то из 
LFSR  шифраторов.