> エクスプローラのファイル順
この順序は、 StrCmpLogicalW API の動作によるものです。
https://docs.microsoft.com/en-us/windows/win32/api/shlwapi/nf-shlwapi-strcmplogicalw
https://wiki.dobon.net/index.php?.NET%A5%D7%A5%ED%A5%B0%A5%E9%A5%DF%A5%F3%A5%B0%B8%A6%B5%E6%2F111

Windows バージョンによって並び順が変化することにご注意ください。
レジストリ設定すれば、StrCmpLogical を使わないようにすることもできます。
https://316-jp.com/windows-sort-name

StrCmpLogicalW などによるカスタムソートを DataGridView に組み込む場合、
DataSource が未設定なら、SortCompare イベントを利用できます。
https://dobon.net/vb/dotnet/datagridview/customsort.html#section3

DataSrouce を割り当てている場合は、そのデータソースの並び替え機構に依存します。

LINQ を使えるなら、OrderBy 拡張メソッドの IComparer(Of ) を受け取るオーバーロードを
併用するというのも一つのです。