葉月さんありがとうございます。でもボタンを追加すると使い勝手が悪くなると思ったので考えて

  Private Sub TextBox1_KeyDown1(ByVal sender As Object, ByVal e As System.Windows.Forms.KeyEventArgs) Handles TextBox1.KeyDown
        If e.KeyCode = Keys.Back Then
            Using g As Graphics = Me.CreateGraphics
                g.Clear(Color.Aqua)
            End Using

        End If
    End Sub

としてBackSpeaceを押すと消えるようにしました。ちなみに背景はAquaです。SystemColors.Controlだと背景の色が抜けてしまいました。
そして無事○、×は消えるようになったんですが今度問題を解いてみるととりあえず今は3問しか作っていませんが問題1は正しい答えを入力するとちゃんと○になります。しかし2問目3問目は正しい答えを入れても×になります。問題ファイルも間違いはありません。