'画像がブルーなので文字を白にして見やすくする
 Button1.ForeColor = System.Drawing.Color.White
 'イメージをセットする 
 Button1.Image = System.Drawing.Image.FromFile("test.gif")
Button1.BackColor = Color.Red
などで、枠らしきものの色を変更できましたので、解決とします。なかなか、これ以外では、難しそうですね。