WebBrowser は、画像の読み込みやスクリプトの実行、クッキー制御なども行うため、
その分の処理時間がかかります。(これらを一時的に中止させる機能も一応ありますけど)

ソースの取得だけが目的なら、HttpWebRequest  クラス等を使った方が高速です。
http://dobon.net/vb/dotnet/internet/webrequestsavefile.html
http://dobon.net/vb/dotnet/internet/webrequest.html
http://www.atmarkit.co.jp/fdotnet/dotnettips/302wcget/wcget.html

ただしこちらの方法では、WebBrowser.Document 相当の機能を利用できないため、
タイトルを取得したい場合は、Regex などで文字列を切り出す作業が必要になります。