本文を読むにメモリに無頓着なようですが、
メモリは十分に積んでいますか？

普段使いはVB2005なのですが、
社内のいくつかのマシンで起動した感覚では、
IDEレベルではCPUは余り関係ないように思います。
もちろんCPUが早いに越したことはないですが。
ASP.netのデバッグ等では特に、
CPUよりもメモリの方がパフォーマンスに影響するように感じます。

もしメモリが256Mや512Mであれば、
最低限1GB（それでもスワップはしますが）、
できれば2GB以上のメモリを積めば、それだけでずいぶん変わると思いますよ。