魔界の仮面弁士さま、ご丁寧にご説明頂きありがとうございました。
CultureInfoを引数に渡す方法は知らなかったので、勉強になりました。

あと、My.Application.ChangeCultureだと一度に全体の対応ができそうなので、こちらを試してみようと思います。
これは引数の型がStringですが、CultureInfo.InvariantCultureに相当するカルチャを設定するには
My.Application.ChangeCulture("")でよいのでしょうか？

※以下「Application​Base.​Change​Culture(String) メソッド」を参照しました。
https://docs.microsoft.com/ja-jp/dotnet/api/microsoft.visualbasic.applicationservices.applicationbase.changeculture?view=netframework-4.8