> 削除したのでどんなエラーか覚えてませんが
基本的には、シェルコンポーネント(OLEPRO32.DLL とか OLEAUT32.DLL)で
エラーになる可能性が高いようです。あとは、データアクセス関係と OLE カスタムコントロール群。

> 「こうやったら動く」を知っている人いないでしょうか
有効な回避策は無いと思いますが(古い OS を使うか新しい VB を使うべき)、
一応、追加情報として下記を紹介しておきます。

[VB4] 予期せぬエラーが発生する場合の対処方法
http://support.microsoft.com/kb/409703/ja

[VB4] Microsoft® Visual Basic® Version 4.0 アップデート キット 2 Readme
http://www.microsoft.com/japan/msdn/vs_previous/vbasic/Update/vb4update.htm