解答ではありませんが、下記のコードもクリックすると画像が切り替わります。
画像はImageListに４つ格納しています

 Dim count As Integer = -1


    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click

        count = count + 1 　　'クリックするたびにcountが１ずつ増えていく(count + = 1と書くこともできます)

       
　 If count > 3 Then count = 0 　'画像は、４つしかないので３以上になったらcount=0にする

        PictureBox1.Image = ImageList1.Images(count) 　'ImageList1に４つの画像を格納ずみ（インデックスは０～３）
    End Sub