自己解決したため、そのコードを以下に記入します

※結論から言うと「ControlCollection」を使うのではなく「ArrayList」を使うだけでよかったです。

書いてみたコード:

 (Button1, Bottun2, Label1は、Visualstudioのデザイナーを使用し、Form1上に配置しています)

Public Class Form1

     Public aryBtns As System.Collections.ArrayList

     'フォームのロード
    'ボタンコントロールを格納するコレクションの作成
    Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load

         Me.aryBtns = New System.Collections.ArrayList
         aryBtns.Add(Button1)
         aryBtns.Add(Button2)
         AddHandler Button1.Click, AddressOf buttons_Click
         AddHandler Button2.Click, AddressOf buttons_Click

     End Sub

     '各ボタンが押された時のイベント
    '可能ならこの中で添え字を取得したい
    Private Sub buttons_Click(sender As Object, e As EventArgs)
         Dim index As Integer
         index = aryBtns.IndexOf(sender)

         Label1.Text = "クリックされたボタン = " & index.ToString & "です"
    End Sub

 End Class

お騒がせいたしまして失礼いたしました・・・