[カレントディレクトリ]
http://e-words.jp/w/E382ABE383ACE383B3E38388E38387E382A3E383ACE382AFE38388E383AA.html

OSレベルで現在作業を行なっているディレクトリ。
【SaveFileDialog】を使うということは、
【保存ファイルを選択する】という「作業」を行なう事ですから、
当然、作業フォルダはダイアログで指定したフォルダに移動します。

「過去【ソフトを起動】という作業していたフォルダ」は、次の
作業を始めた時点でカレントディレクトリではありません。
当然のことですが。

アプリケーションが起動したパスについては
[Application.StartupPath プロパティ]
http://msdn.microsoft.com/ja-jp/library/system.windows.forms.application.startuppath.aspx
で提供されています。