「数値」に変換することが目的ですか？
「数字」かどうかを確認することが目的ですか？

前者なら、Decimal.TryParse や Integer.TryParse メソッドが便利です。
後者なら、Regex クラスを使うか、あるいは VB の Like 演算子で判定できそうです。