> タスクバーにアイコン表示させたく
タスクバーに表示させたいのであれば、
ShowInTaskbar = True にするべきなのでは?

もしかして：　通知領域(タスクトレイ)


> バーのようなものが表示されてしまいす
最小化されたときに、Me.Hide() なり
Me.Visible = False なりを呼んでみるとか。
https://dobon.net/vb/dotnet/form/minimized.html


> Minimizedさせた場合に画面にゴミが残ります
ゴミっていうか、それが無いと復元できないので、
意図的に残したものだと思っています。

最近の OS だと、ShowInTaskbar 周りの動作が
少し変わってきていて、組み合わせによっては
本当に非表示になってしまうようですけれど。

http://www.atmarkit.co.jp/fdotnet/dotnettips/391showintaskbar/showintaskbar.html