neputuneさんに教えていただいたように、現在xlsheet.cellsを使用している箇所を
xlCells = DirectCast(xlSheet.Cells, Excel.Range)
と修正したところ正常にプロセスが終了するようになりました。
アドバイスをいただきました皆様、ありがとうございました。