私自身は試していませんが、下記の記事が参考になると思います。
サンプルでは、受信したバイナリデータを文字列に変換していますが
その文字列の変換をしなければ良いと思います。

https://dobon.net/vb/dotnet/internet/udpclient.html