疑えない、信じられるものを求めているなら物理学よりも論理学と公理的集合論を学ばれてはいかがでしょうか。規則のパラドックスの問題があるのでもちろん最低限の記号操作の妥当性は前提する必要がありますが、それだけで大部分の数学の形式的な正しさを（証明ミスなどを除けば）信じられるようになります。 ただ、数学が世界の真理を表しているかどうかはまた別の問題があり、私も巨大基数を操っていたころ自分は一体何をやっているのだろうという疑問に捕らわれましたが......。