こんにちは。

よねＫＥＮさんも書かれていますが、
何がしたいかによって必要な知識の領域が変わってくると思います。

一般的なプログラムならほとんど数学の知識はなくてもOKとおもいます。
小学生レベルの計算力があればいいと思いますよ。

アルゴリズムはたしかにでてきますが、数学的な力で構成していくアルゴリズムは
かなりレアで、だいたいプログラムの考え方から構成されるアルゴリズムになると思っています。
前者の例：マクローリン展開で円周率を求める、フーリエ解析で音素分析
後者の例：ソート。検索。プログラムのフロー的なもの。

アクションゲームなどを作るのであれば、高校レベルの数学の知識は要りますので、
自信がないなら中学校の一次関数や因数分解あたりから勉強した方がいいかもしれません。
そうでなければ、数学を気にするよりもよいサンプルにふれて経験をつんでいけばいいと思います。

あと、「必要は発明の母」とも言いますし、どうしても作りたいプログラムがあって、
数学の知識が必要になったら、強力なモチベーションでスポット的に乗り切ったりできて、
またそれが経験になったりすると思います。