回答ありがとうございます。
サンプルプログラムで問題点が理解できました。
DataGridView には非バインドでデータをセルにセットしています。
TypeNameを使って確認したところ、Long型の列のセルにはプログラムでセットした値はすべてString型になっていることがわかりました。
逆に直接入力した値はInt64型（恐らくLong型のこと？）になっていました。
プログラムでセルに値をセットする処理でLong型に変換することで、ソート時のエラーを回避することができました。
本当にありがとうございます。