長らく時間が空いてすみません。
やはりというか、byte型を用いるのが最善策なのですね。素直にSystem.IO.File.ReadAllBytesを使おうと思います。
またBinaryReaderメソッドなるものは初めて知りました。