>コンパイラの詳細設定というのは
はい。合っています。

>'HttpUtility' は 'Web' のメンバーではありません。というエラーが出てきてしまいました。
System.Webに参照設定をしていないのではないでしょうか？

>InternetExplorerが起動してしまうので、そこで起動しているアプリケーション自体を起動したいということです。

過去の投稿のxvmmさんのアイディアを使うと次のようになります。
http://rucio.cloudapp.net/ThreadDetail.aspx?ThreadId=9359

Public Class Form1



    Private Sub WebBrowser1_NewWindow(sender As System.Object, e As System.ComponentModel.CancelEventArgs) Handles WebBrowser1.NewWindow

        e.Cancel = True

        Dim url As String = sender.Document.ActiveElement.GetAttribute("href")

        Process.Start(Application.ExecutablePath, url)

    End Sub



    Private Sub Form1_Load(sender As System.Object, e As System.EventArgs) Handles MyBase.Load



        If My.Application.CommandLineArgs.Count = 0 Then

            Return

        End If



        Dim url As String = My.Application.CommandLineArgs(0)

        WebBrowser1.Navigate(url)



    End Sub



End Class

ポイントは

の部分ですが、新しいウィンドウを開くいろいろな状況のどの部分にまで対応できているか確認はできていません。
ちょっと試してみたところ、ハイパーリンクを右クリック→「新しいウィンドウで開く」や、target="_blank"の場合うまく動作するようです。

この件は過去にも何回か出ており、正攻法での攻略は難易度が高いです。
http://rucio.cloudapp.net/ThreadDetail.aspx?ThreadId=10230