カレントレコードの削除なら、先の述べた
DeleteItem プロパティを使うのが手っ取り早いでしょう。

コードで実行するなら、BindingSource の RemoveCurrent メソッドを利用できます。
レコード編集中に対応するため、直前に CancelEdit メソッドも呼んでおきましょう。

なお、「現在行が存在しない場合」は削除できずにエラーになりますので、
Position プロパティ等を If 判定するコードも用意しておきましょう。


もしも BindingSource を使っていない場合(DataSet/DataTable/DataView の直接割り当て)なら、
DataRow や DataRowView の Delete メソッドでも OK です。この場合、削除済みの行を
再削除しようとするとエラーになりますので、処理タイミングによっては、
RowState の追加確認が必要になることもあります。

あるいは、DataGridView 側から CurrentCellAddress や CurrentRow を辿るという手も。