Средства и методы разработки

Не изобретайте велосипед в криптографии. То, что вам надо, называется "взаимная аутентификация" и широко применяется например при работе со смарт-картами. http://www.bytemag.ru/articles/detail.php?ID=9059

Процедура проверки включает как минимум четыре шага: пользователь посылает серверу запрос на доступ, включающий его логин; сервер генерирует случайное число и отправляет его пользователю; пользователь шифрует полученное случайное число симметричным алгоритмом шифрования на своем уникальном ключе , результат зашифрования отправляется серверу; сервер расшифровывает полученную информацию на том же ключе и сравнивает с исходным случайным числом. При совпадении чисел пользователь считается успешно аутентифицированным, поскольку признается владельцем уникального секретного ключа

Протоколы типа "запрос-ответ" легко "расширяются" до схемы взаимной аутентификации (рис. 3). В этом случае в запросе на аутентификацию пользователь (шаг 1) посылает свое случайное число (N1). Сервер на шаге 2, помимо своего случайного числа (N2), должен отправить еще и число N1, зашифрованное соответствующим ключом. Тогда перед выполнением шага 3 пользователь расшифровывает его и проверяет: совпадение расшифрованного числа с N1 указывает, что сервер обладает требуемым секретным ключом, т. е. это именно тот сервер, который нужен пользователю. Такая процедура аутентификации часто называется рукопожатием.

Далее эти случайные числа совместно с еще одним секретным ключом используются для формирования сеансового ключа, который используется для шифрования обмена в данном сеансе связи.