ちなみに、Internet Explorer でのプロキシ設定は、以下で行えます。
http://support.microsoft.com/kb/135982/ja


> ただし、ある人がこのツールを使った時に、PDFダウンロード操作でエラーが発生し
> ソフトが終了してしまうという連絡をもらいました。
エラーを返しているのはサーバー側ですので、詳細な URL 情報などが
分からないことには、具体的なことは言えませんが、たとえば、
User-Agent (ブラウザ情報)やクッキー情報などの相違により、
リクエストが拒否されたり、別の動作を発生させることはありえます。

可能であれば、「Fiddler」の導入を検討してみて下さい。
これを利用すると、HTTP 通信の内容を『横取り』して、どのようなやりとりが
交わされているのかを確認する事が出来ます。IE の場合とで何が違うのかを
調査する手助けになるかと思います。

なお、Fiddler に WebClient の情報を拾わせる方法については下記をご覧ください。
http://docs.telerik.com/fiddler/configure-fiddler/tasks/configuredotnetapp/