>新しいウィンドウを開いたときに、最初のページが表示されてしまうのですが
>どうすれば、そのページを新しいウィンドウで開けるのでしょうか? 
困っていることとやりたいことがよくわからないです。

>新しいウィンドウを開いたとき
とは、前の投稿にあるProcess.Start(Application.ExecutablePath, url)を使って新しくプログラムを起動したときということでよろしいでしょうか？

>最初のページ
これはなんのことか検討もつきません。
IEに設定しているホームページを指していますか？

>そのページ
これも検討がつきません。最初のページのことではないと思いますが、
他に「その」が指す言葉が文中に見当たらないようです。

>HttpUtility.UrlEncodeではなく，Uri.EscapeDataString使えばClient Profileでも使えますし，
>参照設定の追加もいらないと思うのですが……。 
思いつきませんでした。ご指摘ありがとうございます。

それから、
試していませんが、理屈上新しいページを開くタイミングでアクティブな要素に目的のURLを記したhref属性がないとこの手法は失敗しますのでugonightさんが使いたいシーンで役に立つかどうかは十分に試してみてください。
たとえば、多分JavaScriptからポップアップを開くような動作だとこの仕組みはうまく動かないと思います。