遅くなりまして申し訳ありません。
ご教示いただいた皆様、高度で貴重なアドバイス大変ありがとうございます。
セキュリティーソフトもしくは、オフィス自体、その他の影響が大きいことが、なんとなくですが理解できました。

以下試したことと結果です。

1.Excelを手動で起動しようとすると、セキュリティーソフトによる表示が、
「Microsoft Office Home and Business 2019-ja-jpが動作を再開しました」
と表示が現れ、Excelを手動で、すぐに閉じ、再び起動するとメッセージが現れませんでした。

2.私のプログラムを起動中、「Excelへ出力ToolStripMenuItem_Click」を呼び出す前に、
Excelを手動で起動しておくと、エラーにならず処理が進みました。

3.2を確認したので、
    Private Sub Excelへ出力ToolStripMenuItem_Click(ByVal sender As Object, ByVal e As System.EventArgs) Handles Excelへ出力ToolStripMenuItem.Click
        Dim i, j As Integer
        Dim xlApp As Excel.Application
        Try
            xlApp = New Excel.Application
        Catch ex As Exception
            MsgBox("Excelを手動で起動しておいてください")
            Exit Sub
        End Try
と書き換えて置き、Excelを閉じた状態で処理を呼び出すと、メッセージボックスが現れるようになりました。
手動でExcelを起動して、再び「Excelへ出力ToolStripMenuItem」を呼び出すと、正常に処理が進みました。

以上でエラーを回避することはできたのですが、
できれば、Excelが(手動で)起動されているかをプログラムから知ることができないか？
を課題と考えます。
Tryの分で処理すると時間がかかるような気がするのです。