こんにちは、めそさん。
アンインストールしたのは、.NET Framework 3.5のみでしょうか？
とりあえず、.NET Frameworkの全てのバージョンをアンインストールしてから実行してみてはどうでしょうか？

（インストールがうまく出来ない件とは別ですが）
また、USBメモリーに入っているアプリは他のVB2008EEがインストールされているPCから開けますか？
USBメモリーは結構壊れやすいと聞くので試してみてください。