> .Columns.Clear(); または .Columuns.Remove(列指定); で消しましょう。
失礼。書き損じました。
.Columuns.Remove ではなく
.Columns.Remove ですね。

そもそも .DataSource を使っていなかったケースでは、
.Rows.Clear(); や .Columns.Clear(); を呼ぶ方法のほか、
　dataGridView1.ColumnCount = 0;
　dataGridView1.RowCount = dataGridView1.AllowUserToAddRows ? 1 : 0;
とする方法もありそうです。