正規表現を使った場合です。

Imports System.Text.RegularExpressions

・・・・

Dim reg As New Regex("[^\d]")   '--- [^0-9]でもよい
Dim strSrc As String = "=SUM(A32:B48)"
Dim strDes As String = reg.Replace(strSrc, "")