AutoGenerateColumns プロパティによって自動生成された列は消えますが、
デザイン時またはコードによって意図的に .Columns.Add された列は
DataSource をクリアしてもそのまま残ります。
https://learn.microsoft.com/ja-jp/dotnet/api/system.windows.forms.datagridview.autogeneratecolumns

不要であれば、 .Columns.Clear(); または .Columuns.Remove(列指定); で消しましょう。