Kościół, znajdujący się w zachodniej pierzeji dzisiejszej ul. w. Jana między Rynkiem a ul. w. Tomasza, powstał w pierwszej połowie XVII w. na miejscu kamienicy "Bróg" pełniącej od lat 70-tych XVI w. funkcje zboru luterańskiego, spalonej w 1591 r. podczas rozruchów antyprotestanckich. Nieruchomość przejęli bernardyni, którzy wznieśli tutaj kościół, powszechnie zwany "Żłóbkiem". Był on murowany, jednonawowy, potem dodano wokół kościoła ganki od południa i północy. W obok znajdujących się zabudowaniach mieścił się klasztor. Bernardyni zostali usunięci stąd w 1788 r., krótko rezydowali tu potem bazylianie. Zabudowania sprzedano w 1801 r. i kościół przebudowano na zajazd (dzisiaj mieści się tu kino "Sztuka").