Sub Main でスタートさせる設定にして、

    Shared Sub Main()

        Form1.ShowDialog()

    End Sub



    Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click

        Static Form1 As New Form1

        Me.Dispose()

        Form1.ShowDialog()

    End Sub

というのはどうでしょうか。

ただ、使うたびにメモリ消費量が増えますので何度もやるのには向いていませんが・・・