どういったケースを想定しているかにより回答が変わってきます。
サンプルのように決められたソース(サイトと言い換えることもできます)を
摘出するなら正規表現を使うより、決められたタグだけを抜き出すように作
った方がいいです。
複数のパターンがあるなら、パターンごとに自作メソッド、またはクラスご
とに作って対応します。
無数のパターンがあり、それでは効率が悪いなら正規表現を考えます。

詳しくは、こちらを参考にしてください。
http://rucio.cloudapp.net/ThreadDetail.aspx?ThreadId=9457
http://rucio.cloudapp.net/ThreadDetail.aspx?ThreadId=141

＞＞＞「""」があると上手くいかないようです。
私も似たケースでエスケープ文字を処理するときに、イラっときます。
String.Replaceメソッドなどで処理がうまくできません。
しょうがないので、力技でごまかします。

＞イメージ(コンパイル通らないと思います)

' 末尾の\と半角が邪魔 

Dim str As String = "http://test.com/1024\" "

str = str.Substring(0, str.Length-2)