TextBox ではなく NumericUpDown を使うようにして、
デザイン時にプロパティ設定を
　Maximum = 9999
　Minimum = 1000
にしておくという手法もあるかと思います。

この場合、入力された値を
　Dim s As String = TextBox1.Text
のかわりに
　Dim d As Decimal = NumericUpDown1.Value
で取得できます。