Tratado com aspereza e crueldade pagando pelo rancor que o rei de Aragão nutria pela política do Papa, e do rei de Anjou. Motivo que o levou a quebrar todos os acordos firmados antes da troca dos reféns. O cativeiro dos príncipes durou sete anos. Ludovico aceitou a longa prisão com abnegação e paciência. Mas já estava acostumado com a vida de penitência. Desde pequeno ele não dormia na sua cama real preferindo o chão, duro e frio. Assim, aquele período no cárcere só cristalizou a santidade do jovem príncipe. Era tratado cruelmente e deixado junto com os leprosos, os quais tratava com zelo e carinho. Não temia o contágio, que seria motivo de felicidade, pois poderia sofrer um pouco e imitar o sofrimento de Cristo.

Este seu período de cativeiro foi acompanhado pelos frades da ordem de São Francisco, principalmente pelo frei Jacques Deuze, depois eleito Papa. Foi ele que presenciou e registrou as curas prodigiosas feitas por intercessão de Ludovico. Também acompanhou o jovem príncipe quando ele adoeceu gravemente, testemunhando a sua milagrosa cura e decisão de se tornar um simples frade franciscano. Finalmente a paz voltou entre as famílias reais de Aragão e Anjou. Em janeiro de 1296 os três príncipes foram libertados Assim que chegaram em Nápolis, Ludovico renunciou ao trono real em favor do seu irmão Roberto. Ingressou para a vida religiosa no Convento de Ara Coeli, dos franciscanos em Roma. Em maio do mesmo ano voltou para Nápolis onde recebeu as sagradas ordens. Mas foi chamado pelo Papa Celestino V, que o queria Bispo da diocese de Toulouse, na França, que estava vaga. Ludovico, devendo obediência aceitou.

Porém, sendo um frade franciscano dispensou a luxuosa residência episcopal, preferindo a pobreza dos conventos da irmandade. Todavia muito enfraquecido, pegou tuberculose. Apesar disto, foi à Roma assistir a canonização de Luiz IX, rei da França, seu tio-avô. A fadiga desta viagem agravou a doença e ele acabou morrendo, no dia 19 de agosto de 1297, aos vinte e três anos de idade.

O Bispo Ludovico de Toulouse foi proclamado Santo em 1317 pelo Papa João XXII, frei Jacques Douze, que presenciou sua penitência e suas curas milagrosas durante o cativeiro. As famílias da realeza de Anjou e de Aragão, unidas, presenciaram a cerimônia.