最初の貼り付けの際に、Shape に Name をセットしておきましょう。
そうすればそれを識別子として、次回削除する際の手がかりにできます。

そうした目印が無い場合、貼り付けてある画像を列挙した上で、
どれが削除対象なのか見分ける必要がありますが、
削除対象かどうかを確認するための情報は、何かあるのでしょうか?