再帰 (またはスタックorキューを使って対応) とTry-Catchを使ってください。
AllDirectoriesを使った方法では，アクセス拒否等に対して対応できません。