Na de voltooiing van de Naardense Bijbel is Pieter Oussoren begonnen aan een 'Naardense' vertaling van de deuterocanonieke boeken van het Oude Testament zoals Judit, Tobit en de Makkabeeën. Buiten de vesting bevat ze allemaal, en zelfs nog extra: bijvoorbeeld de nauwelijks bekende psalmen 151-155 en de Psalmen en Oden van Salomo.

Ook in de nieuwtestamentische tijd zijn er vele boeken geschreven die nooit de rang van bijbelboek hebben bereikt. In Buiten de vesting is een zeer uitgebreide collectie opgenomen met onder andere de evangeliën van Maria Magdalena, Judas, Tomas en Filippus. Ook de Handelingen van Petrus, Johannes en Jakobus zijn vertegenwoordigd, net als de Openbaring van Paulus. Ten slotte heeft Pieter Oussoren ook delen vertaald van het omvangrijke boek Henoch waaruit al in het Nieuwe Testament (de brief van Judas) wordt geciteerd. De vertaling is zo letterlijk mogelijk, zonder theologische kleuring, zodat de lezer zelf kan zien wat er nu werkelijk staat.

In totaal bevat Buiten de vesting 40 boeken, misschien wel de uitgebreidste collectie die nu in één band voorhanden is. Het is daarmee een indrukwekkend vervolg op de Naardense Bijbel, die van links tot rechts alom geprezen is.