そんなに遅いと感じたことはなかったです。
可能であればExpress Editionを使用すれば軽量化はできます。

ありがちな対応としては、
・複数プロジェクトを同時に開いている場合→編集対象のプロジェクトのみ開くようにする(他のプロジェクトはDLLの参照設定に切り替える)
・リモートデバッガーを使用している場合→ローカルでデバッグする。
・遠隔地とVSSなどで通信している場合→運用を見直すか回線を太くする。

あと何かあるでしょうか。
話には出ていますが、メモリは重要で1GB以上はほしいですね。
快適というためには2GBあったほうがいいかもしれません。
私の個人環境はオショウさんと一緒でCore2 Quad、4GBメモリです。
※ただ、4GBも搭載しているのはパフォーマンスを重視したわけではなく、仮想環境に1GB～2GB割り当てても、ホスト環境が快適に動作するように考えた結果です。