デフォルトの設定ではスタートアップフォームが閉じれば
プログラム終了ですが、プロジェクトのプロパティで
「シャットダウンモード」を「最後のフォームが閉じる時」
にすれば似たような動きを簡単に実現できると思います。
※VB2005以降

しかし、Form3 が開いていると
> Form2が閉じられたらプログラム終了
にならないといったような問題は起こりえます。

本格的に作ろうと思ったらフォーム起動ではなく、Sub Main 起動で、
Form1、Form2 を上位の Class1 が制御するようなプログラムを書く
ことになると思います。