Bil je četrti in najmlajši sin andeškega grofa Bertolda IV. (1152–1204). Že pred njim se je za cerkveno službo odločil njegov starejši brat Ekbert (1173–1237), ki je leta 1203 postal bamberški škof, kar je verjetno ugodno vplivalo na Bertoldovo cerkveno kariero, saj je kmalu po nastopu bratove škofovske službe postal bamberški stolni prošt, čeprav pred tem ni bil deležen primerne duhov...