こんにちは。

現象が再現できるコードがないと回答しにくいです。

一般的には数学などのように同じ処理を何度も何度も繰り返す場合、
同じメソッドが何度も何度も入れ子上に呼び出されStackOverflowの例外が発生します。

次の例は、処理のないように意味はありませんがStackOverflowが発生するシンプルな例です。
    

Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click

    Dim i As Integer

    i = AddOne(0)

End Sub



Private Function AddOne(ByVal value As Integer) As Integer

    value += 1

    Return AddOne(value)

End Function

この例外を回避する代表的な方法は、
１．ロジックを見直して再帰が発生しないようにする。→再帰ではなくループを使う。
３．求める精度を低くする。→再帰回数カウント、求める値の桁数のチェックなどをして処理の停止条件とする。
３．StackOverflowの例外をCatchする。
といったところです。
現在では３は推奨されていないようです。