>調べた上での質問です。
私が言ったところから
Microsoft.Win32.RegistryKey
ってのもつながっている訳ではあります。

例えば実際にテストコードを書こうとすると
DeleteSubKey、DeleteSubKeyTreeってのはすぐ発見できますよね。
My.Computer.Registry.CurrentUser.DeleteSubKeyTree("subkey")

それらを元にMSDNで調査してみては如何？
Microsoft.Win32
RegistryKey.DeleteSubKeyTree メソッド 
サブキーとその子サブキーを再帰的に削除します。文字列 subkey では、大文字と小文字は区別されません。

RegistryKey クラス 
RegistryKey.DeleteSubKey メソッド 
指定したサブキーを削除します。文字列 subkey では、大文字と小文字は区別されません。

テストはしてません。