Судя по трем посылкам это обычная взаимная аутентификация на симметричной крипте. То есть шлем партнеру хрень, он ее шифрует своим ключом, отправляет нам, мы расшифровываем и удостоверяемся что оно верно, после чего шлем зашифрованное нашим ключом и с другой стороны тоже убеждаются что мы знаем ключ.
Очевидно это не блочный шифр потому как там 99% шифров от 8 байт на блок а у тебя 4. Значит это скорей всего
потоковый . Например из полновесных шифров
RC4 с фиксированным ключом (таблицей) легко влезет. Но я бы предположил что здесь что то из
LFSR шифраторов.