> ちなみに、よねKENさんの二つめの方法は試してみましたが、うまくいきませんでした。
> ●●●●,●●●●●●.
> みたいな感じになりました。 

申し訳ありません。きちんと結果を確認してから投稿したつもりでしたが、
今試したらご指摘の通りうまく行きませんでした。結果の確認のときに何か勘違いをしたようです。
で、修正版を考えました。

Dim text As String = "When I was a child, I went there."
Dim pattern As String = "(?<=\w)\w"
Console.WriteLine(Regex.Replace(text, pattern, "●"))

でうまく行きます。VB2008で確認しました。
「(?<=」という書き方の部分が肝ですが、この件についての資料は以下にあります。

ゼロ幅の正の後読みアサーション
http://msdn.microsoft.com/ja-jp/library/bs2twtah.aspx#zerowidth_positive_lookbehind_assertion

ただ正直、上記のURLの説明は難解なので、以下のURL(のページの真ん中付近)
の説明の方がわかりやすいと思います。
http://dobon.net/vb/dotnet/string/regex.html