ファイルサイズがどの位かわかりませんが、そんなに大きいファイルでなければ
ReadToEndで全部読み込んでメモリ内処理にしたほうが速いと思います。
全体を読むのが無理ならReadBlockで読むかBinaryReaderで固定byte数づつ読むとかも
効果的だと思います。

ListViewへのAddも１行毎に行うよりも一括で追加した方が速いと思います。

> Object_To.Items.Add(New ListViewItem(Array))
は遅延バインディングになるので速度低下を招きます。