テキストファイル(CSVの実体はテキストファイルです)というのは
1行の文字列データだと思ってください。
改行も、改行コードという文字列です。
(エディタが表示するときに次の行に表示しているだけ)

ですから、ファイルの最後に追記することは出来ますが、
途中に挿入したい場合は、そのデータ以降を全てずらす必要が
出てきてしまいます。
このため、先頭から全てのデータを書き直す処理になっています。

例外として固定長がありますが、VB.NET になってから
固定長文字列がサポートされていませんので説明は省略します。