おはようございます。

表題の問題、KeyPressイベントとKeyDownイベントが絡んでいるのではないでしょうか。
KeyPressイベントとKeyDownは似たようなイベントですが、DELキーやESCキーなどの特殊キーは、どちらかのイベントが発生しなかったはずです。