> テンキー側のほうですよね？（テンキーはDELが割り当てられている。）
> テンキーじゃない場合もTrueなのですかね？ 
もち両方テスト済み。同じ結果です。

単独の Delete キーが認識されないのは、このサイトでも紹介されている有名な
話ですが、今回の質問の現象は知らなかったです。
[Visual Basic 中学校 > 初級講座 > 第２１回　マウス・キーボードからの入力]
７．KeyPressイベントの詳細
http://homepage1.nifty.com/rucio/main/dotnet/shokyu/standard21.htm

まぁ、同様の現象なら IsNumeric(Chr$(KeyAscii)) という判定も使っているんだし、
ピリオドのハードコーディングと比較しても良いかなとは思いますが、
なんか、正式なドキュメントが欲しいですよね＾＾；

>ASCIIコード表を見ると、小数点は”46”ですね。
じゃあ、46でもいいかなぁ・・・歴史的な流れとかなんかはあるかどうかも
知らないので有識者の降臨を待ちますか。