閉じるのをキャンセルするという発想じゃなくて、必要なときに閉じるように
命令するという逆の考え方のほうが今回の場合いいのかもしれません。

## やり方
DialogResultにOKを設定してるボタンのDialogResultをNoneに設定してください。
その後に、ボタンのクリックイベントで

If 入力OK?

  ' 何かやることがあるならやる 

  Me.DialogResult = DialogResult.OK

  Return

End If

みたいに、閉じたいときにDialogResultプロパティに値を設定すればOKです。
そうすれば、呼び出した側でもDialogResultプロパティを参照できるので

If form.ShowDialog() = DialogResult.OK

  ' 何か処理 

End If

みたいにすることが出来ます。