度々申し訳ありません。
自己解決致しましたのでご報告にあがらせて頂きました。

Randomize()

        '１から100の間で５つの数字を取り出す 

        numA.Text = CInt(Int((20 - 1) + 1) * Rnd() + 1)

        numB.Text = CInt(Int((40 - 21) + 1) * Rnd() + 21)

        numC.Text = CInt(Int((60 - 41) + 1) * Rnd() + 41)

        numD.Text = CInt(Int((80 - 61) + 1) * Rnd() + 61)

        numE.Text = CInt(Int((100 - 81) + 1) * Rnd() + 81)

上記コードを

 Private Sub Button1_Click(ByVal sender As Object, ByVal e As System.EventArgs) Handles Button1.Click

        krp = True

        response = response + 1

        result.Text = Str(response)

        Label1.Text = Tokuten

        Select Case response 

            Case numA.Text, numB.Text, numC.Text, numD.Text, numE.Text 

                Tokuten = Tokuten + 1

        End Select

このイベント内に入れてしまっていたので、ボタンをクリックする度にランダム数字が変わってしまい、うまく点数加算に結び付かなかったようです。
そのため、5つのランダム数字を設定するコードを外へ出してやったら上手く加算されるようになりました。

ご相談に乗って下さった方々、本当にありがとうございました。
また来る機会があったらよろしくお願いします。