新しくコントロールを使うという風に考えた方がいいかもしれませんね。
WPFを検討された方がいいかもしれません。

その並び替えということなら、移動させるというより順番を記憶する方が楽かと思います
Labelを準備し、Labelをクリックで番号をLabel.Textの先頭にいれるというかんじで。