> キャンセルを押しても、終了しません！いい絵でも、終了しません

だって、closeをまたしているから、、、
このイベントがまた呼び出されてる、ってことです。
キャンセルといいえの場合分けも入ってませんよ。
（SaveDialogを出してからの保存とキャンセルの場合分けはあるけど。）

やりたいのはこういうことかなあ。

        If TextBox1.Modified = True Then

            Dim tmp As DialogResult = MessageBox.Show("変更されていますが保存しますか？", Me.Name, _

                                MessageBoxButtons.YesNoCancel, _

                                MessageBoxIcon.Exclamation, _

                                MessageBoxDefaultButton.Button2)

            If tmp = DialogResult.Yes Then

                Dim SaveFileDialog As New SaveFileDialog

                SaveFileDialog.InitialDirectory = My.Computer.FileSystem.SpecialDirectories.MyDocuments

                SaveFileDialog.Filter = "HTMLファイル(*.html)|*.html|テキスト ファイル (*.txt)|*.txt|すべてのファイル (*.*)|*.*"



                If (SaveFileDialog.ShowDialog(Me) = System.Windows.Forms.DialogResult.OK) Then

                    Dim FileName As String = SaveFileDialog.FileName

                    IO.File.WriteAllText(FileName, Me.TextBox1.Text, System.Text.Encoding.GetEncoding("UTF-8"))



                End If

                If DialogResult.Cancel Then

                    e.Cancel = True

                End If

            ElseIf tmp = Windows.Forms.DialogResult.Cancel Then

                e.Cancel = True

            End If

        End If