http://homepage1.nifty.com/rucio/main/dotnet/shokyu/standard13.htm 
ここの　５．プログラムを終了させる方法　の図がわかりやすいです。 
るしぇさんの言うとおりMe.Closeでいいでしょう。