Это ж UDP, там все сложно. Если считал один байт, то буфер мог уже и тю-тю…
P.S. А на кой черт вообще с UDP заморачиваться? Почему не TCP/IP? Там же все просто: и сохранность пакетов гарантируется, и их порядок…