[ツール]-[オプション]で出てきたウインドウで、下部の[全ての設定を表示]にチェックを入れる。
↓
[プロジェクトおよびソリューション]-[ビルド/実行]の[ビルド開始前に行う保存の操作]。

初期値は[全ての変更を保存]となっているはずなので、[変更を保存しない]に変更すれば、デバッグ開始時に勝手に保存されないようになると思います。