AccessViolationException の原因は多岐に渡るので、なかなか難しいところですね。

新規プロジェクトで、OpenFileDialog を開くだけのアプリを作った場合にも
同様に障害が発生しますか? 特定のプログラムだけで問題が起きるのなら、
そのプログラムの別の場所に何か問題があるのかもしれません。

たとえば、何か外部の API を呼び出している箇所があって、それが
カレントディレクトリからの相対パスで依存ファイルを参照していた場合、
OpenFileDialog を通じて現在のディレクトリが変化することで問題が起きるとか。


あるいは、新規プロジェクトでも問題が起きているような場合、
VB ではなく、実行環境に問題がある可能性もあります。
（エンドポイントセキュリティや DRM 、シェルエクステンションなど）
https://social.msdn.microsoft.com/Forums/ja-JP/ba2bb142-4b19-4e20-aee0-ed8879f3bc74/124671253112488125251254012523openfiledialog?forum=csharpgeneralja
https://social.msdn.microsoft.com/Forums/ja-JP/d52ef8d8-e4a1-40f8-b7dc-17c80fcc3934/visual?forum=vsgeneralja

同時に動作しているサービスや常駐ソフトウェアを停止した状態で実行してみたり、
作成したプログラムを他の PC に持ち出して、そこで問題が再現するかも確認してみましょう。