SerialPort.Write(&H2)
の場合、数字の「2」がString型にキャストされて送信されています。
ですので、Writeを使うのであれば、
SerialPort.Write(Chr(&H2))
とすればいいと思います。