私も数学も物理も苦手(でも、嫌いというわけじゃない)で似たようなことを感じて、
ちまちまと再勉強をしていますが、そう簡単ではないですね。

> 算数や数学は積み重ねだと思うのですがどこまで戻っていいのか解りません。

あなたの理解できている最後のところ以降から勉強する、じゃないでしょうか。

別のアプローチとしては、ゲームを作る本などで数式などのわからないことが出てきたら、
そこを出発点として、それを理解するために必要なことを順に戻って調べていく、
という方法もあるかと思います。

でも、習得する内容というのは個々に独立したものではなく、それまでの積み重ねの上に
成り立っている部分が多いと思いますので、こういった教科がもともと得意でない場合は、
理解できなくなったところから勉強を再開する、というアプローチの方がよいと個人的には思います。

> 多分すべての数学カリキュラムが必要だとは思えないので
> グラフィックやアルゴリズムに関連した所とそれに必要な基礎学力を提示していただけないでしょうか?

何が必要かは何を実現したいかによりますので、一概にこうとは言えないと思います。
今、何がしたくて、何ができて、何ができませんか？「なんとなくわからない」ではなく、
何がどうわからないのかを分析してはどうでしょう。

たとえば、アクションゲームを作るなら、1次/2次関数、三角関数は基礎知識でしょうし、
その上で、物理の力学の公式等が必要になると思います。
その手の解説を理解するためにはベクトルの考えも必要かもしれません。
それどころか複雑な動きをさせたいとなると大学の高度な数学・物理が必要になってくる場合もあります。

例としてあげた「複雑な動き」の場合でいうと、簡単に理解できるものでもないと思いますので、
そういうことを実現しているライブラリを使うことを視野に入れて、そのライブラリを
使う上で必要な数学・物理の知識を仕入れていけばよいと私は考えています。