> 'これを利用するロジックではミリメートルはスルーしたい

その「ロジック」の具体的なところが分からないと判断しにくいのですが、
複合条件があるのなら、判断条件に用いるパラメータ(仮にT型として)も含めて
　　As Dictionary(Of String, Func(Of T, String))
あるいは、
　　As Dictionary(Of 条件値, Dictionary(String, String))
のような二段階変換にしてしまうのはどうでしょう。