こんな方法もあります。
  

Dim lines As New List(Of String)(IO.File.ReadAllLines("C:\vb\test.txt"))

lines.RemoveAt(1)    '2行目を削除 

lines.RemoveAt(2)    '3行目を削除 

IO.File.WriteAllLines("C:\vb\test.txt", lines)

ただし、この方法はメモリ上にテキストファイルの内容をすべて読み込んでから処理するので、
対象のテキストファイルのサイズが大きい場合にはよくないです。
私の感覚ではテキストファイルのサイズが数百KB程度ならこの方法でやってしまうかもしれません。

正攻法はshuさんの方法です。