Peter Caelen zongora tanulmányait a maastrichti és amszterdami Konzervatóriumokban végezte Frans van Beveren, Joop Celis és Willem Brons növendékeként, majd Londonban Peter Feuchtwanger, Saarbrückenben Thomas Duis irányításával folytatta, és számos nemzetközi mesterkurzuson vett részt, többek között Peter Donohoe, Lazar Berman, Eugen Indjic, Piotr Paleczny és Jan Michiels mellett.
Versenyeredményei közé tartozik a Prinses Christina Concours első díja Den Boschban, a Johannes Brahms Nemzetközi Verseny finalistája és az olasz Ibla Grand Prize díjazottja. 2005-ben az eindhoveni Muziekgebouw Frits Philips a „Zuiderlicht” programsorozat keretében lehetőséget kapott saját koncertsorozatának megalkotására.
Koncertpályafutása során Peter Caelen Európa rangos hangversenytermeiben lépett fel, többek között az amszterdami Concertgebouw-ban, a rotterdami De Doelenben, a koblenzi Rhein Mosel Halle-ban, a brüsszeli Királyi Konzervatórium Nagytermében és az oxfordi Holywell Music Room-ban. Az utóbbi években Ázsiában is egyre aktívabb: Kínában több mint 30 városban adott koncerteket, többek között Pekingben, Sanghajban, Shenzhenben és Qingdaóban, 2022-ben pedig Indonéziában tartott koncerteket és mesterkurzusokat Jakartában, Medanban és Semarangban.
Rendszeresen fellép nemzetközi fesztiválokon, például a Klevischer Klaviersommer-en (Németország), a Kamarihelmi Festival-on (Finnország), a Spectrum Festival-on (Szlovénia), az Alba Music Festival-on (Olaszország), a Krakow Musical Autumn-on (Lengyelország) és a magyar Klassz a Parton-on. Kamarazenészként állandó duót alkot Olsi Leka csellistával, de számos más neves művésszel dolgozik együtt, valamint rádiófelvételeken és CD-kiadványokon is hallható.
2006 óta Peter Caelen az Excellent Concerts nemzetközileg elismert koncertsorozat inspiráló vezetője, valamint a Muziek Klassiek Gulpen sorozat programigazgatója.