以下のような方法もあります。

Dim text As String = "When I was a child, I went there."
Dim pattern As String = "(?:\w)\w*"
Console.WriteLine(Regex.Replace(text, pattern, "●"))

この書き方については以下をご覧ください。

グループ化構成体 - 非キャプチャ グループ
http://msdn.microsoft.com/ja-jp/library/bs2twtah.aspx#noncapturing_group