1577'den itibaren Osmanlı Devleti'nin kullanımına geçen kalede, bu tarihten itibaren büyük değişimler yaşandı. Osmanlı döneminde, 250 yıldan daha uzun bir süre Besirevic ailesinin sorumluluğunda kalan Ostrozac Kalesi'ne daha dayanıklı duvarlar, bir gözcü kulesi, bahçe, cami ve konak inşa edildi.