Tijdens de Tweede Wereldoorlog hebben 26.000 à 30.000 mannen en vrouwen gevangen gezeten in het Oranjehotel. Een groot aantal van hen was verzetsstrijder. Er zaten ook wel 'gewone' misdadigers en joden in het Oranjehotel, en andersom zat er in de Untersuchungs- und Strafgefängnis ook wel eens een politieke gevangene. Het aantal gevangenen dat gelijktijdig in de cellenbarakken zat nam in de loop van de oorlog toe, tot 2000 in februari 1944. Dat betekende dat de gevangenen soms met vier of vijf in een cel zaten.
De periode dat iemand gevangen zat in het Oranjehotel wisselde sterk. Sommigen zaten er een paar dagen, anderen meer dan een jaar.

De gevangenen van het Oranjehotel kwamen uit alle lagen van de bevolking en hadden alle denkbare achtergronden. Er zaten studenten tussen, ambtenaren, verpleegkundigen, schilders, winkeliers, artsen, hoogleraren, schoolmeesters, metselaars, fabrikanten, boeren, beeldend kunstenaars en garagehouders. De jongste gevangene was drie jaar oud; samen met zijn zusje van vier zat hij als gijzelaar in het Oranjehotel. De Duitsers waren op zoek naar hun vader, een hoogleraar aan de universiteit van Amsterdam, die in het geheim college gaf aan groepjes studenten. Vader en kinderen hebben de oorlog overleefd. 
De Sicherheitsdienst arresteerde deze mensen om uiteenlopende redenen. Bezit van een radiotoestel of een zender, spionage en sabotage, huisvesting van en hulp aan joden of geallieerde piloten, medewerking aan de illegale pers en verspreiding van illegale krantjes, vervalsing van identiteitspapieren, aanzetten tot staken, wapenbezit en wapensmokkel, lidmaatschap van een illegale organisatie, mishandeling van Duitse soldaten of NSB'ers en belediging van de Führer: voor de SD waren het allemaal redenen om iemand op te pakken.
De meeste gevangenen werden door een overvalwagen bij de gevangenis afgeleverd. Na aankomst werden de gevangenen ingeschreven in het gevangenisregister. De vrouwen gingen naar de vrouwenafdeling, een gedeelte van de cellenbarak dat door middel van een houten hek van de rest was gescheiden. De gevangenen werden grondig gefouilleerd en moesten vrijwel al hun persoonlijke bezittingen afgeven.

Spion en schaftluik

Klaptafeltje en lamp

Interieur van een cel

Er was een strakke dagindeling in het Oranjehotel, die draaide om de maaltijden. Om 6.30 uur werden de gevangenen gewekt. Ze moesten zich wassen en hun bed opmaken. Dan ontbeten ze met brood dat de vorige dag was uitgedeeld en dronken ze surrogaatkoffie. Om 11.30 uur was het middageten, dat vaak uit soep of stamppot bestond. Om 17.30 uur kwam het avondeten, dat uit surrogaatkoffie en brood bestond, met een extra portie voor het ontbijt van de volgende ochtend. Om 20.00 uur ging het licht uit.
Elke dag werden de gevangenen een kwartier gelucht. Tijdens het luchten moesten ze hun Kübel (privaatton) legen en hun waterkan vullen.
Elke twee weken mochten de gevangenen 5 minuten douchen. Ook mochten ze soms bezoek ontvangen, kerkdiensten bijwonen en boeken lenen uit de gevangenisbibliotheek.
Verder deden de gevangenen niets. Ze moesten de dag maar zien door te komen. Omdat ze zich vaak stierlijk verveelden bedachten ze allerlei klusjes om de geest actief te houden: uit het hoofd schaken met een medegevangene, kaarten, de bakstenen van de muren tellen, bidden, in de kleine celruimte een wandeling uit het echte leven nabootsen, de schaduw van de zon op de muur volgen, alles wat maar een beetje geestelijke inspanning vergde en de aandacht van de werkelijkheid afleidde.

Aanvankelijk was het dagelijks regime wel dragelijk. Dat had veel te maken met het feit dat het personeel aan het begin van de oorlog nog Nederlands was en niet per se pro-Duits. In februari 1941 kwam de leiding van het Oranjehotel echter in handen van de SS en werden de Nederlandse bewakers vervangen door Duitse en Nederlandse nazi's. Daarna werden de omstandigheden slechter. De douchebeurt werd afgeschaft, het lezen werd verboden, het luchten werd verminderd, evenals het bezoek van buiten. De hoeveelheid voedsel werd minder en de kwaliteit ervan ging achteruit.
De Oranjegasten waren onderworpen aan de willekeur van de Duitsers. Te pas en te onpas werden straffen uitgedeeld en maaltijden overgeslagen. Kalte Kost heette dat laatste. Gevangenen werden geslagen of eenzaam opgesloten in een donkere cel. Tijdens het verhoor werden ze vaak geschopt en geslagen. Sommige gevangenen werden maandenlang vastgehouden zonder aanklacht of proces en wisten niet waar ze aan toe waren.

Metalen drinkbeker

De Kubel

Tegen de muur

De saamhorigheid onder de gevangenen was groot. Ze zaten in het zelfde schuitje en moesten er het beste van zien te maken. De verschillen tussen de klassen en de zuilen vielen weg: communisten raakten bevriend met katholieken, gegoede burgers met arbeiders.
De Oranjegasten haalden graag kattenkwaad uit. Bijvoorbeeld door te zingen, groente te stelen uit de tuin van de SS'ers, moppen te vertellen en dan heel hard te lachen, zodat de bewakers het hoorden. Ook deden ze van alles om nieuwtjes uit te wisselen. Met klopsignalen op de muur, via de verwarmingsbuizen en door het maken van gaten in de muur praatten ze zo goed en zo kwaad als het ging met elkaar. Dat de nieuwsberichten vaak uit pure onzin bestonden was minder belangrijk dan dat de gevangenen moed putten uit het clandestiene contact.

Nadat de Nederlandse gevangenisbewaarders waren vervangen door SS'ers, bleven alleen nog een paar Nederlandse leden van het ondersteunend personeel over. Dat waren de portier, de bibliothecaris, de artsen en verpleegkundigen, de tandarts en de dominee. Een aantal van hen was fel anti-Duits en probeerde de gevangenen te helpen waar dat maar kon. Ze smokkelden berichten, pakjes en brieven naar binnen, en hielden zo het moreel hoog. Vooral dominee Bos, die tussen 1940 en 1943 geestelijk verzorger van de gevangenen was, heeft veel voor de Oranjegasten kunnen betekenen.