Peder Oxe var søn af Johan Oxe til Nielstrup og Mette Gøye, som var datter af landets magtfulde rigshofmester Mogens Gøye. Som 12-årig blev Peder Oxe sendt på en dannelsesrejse til udlandet. I de fem år rejsen varede (1532-1537) besøgte han Tyskland, Schweiz, Italien og Frankrig. Imens rasede Grevens Fejde i Danmark, og da den sluttede, havde landet fået en ny konge og var blevet protestantisk.