Budynek składa się z trzech gotyckich domów wzniesionych w XV w., później kilka razy przebudowywanych: dawnego domu prebendarzy kaplicy św. Trójcy (fundowanego w 1431 r. przez Władysława Jagiełłę), domu Hinczy z Rogowa i domu Jana "Głowacza" z Oleśnicy, zw. Pinczowem (później własność wikarych katedry krakowskiej).
Pierwszy z tych budynków był od 1602 r. siedzibą Seminarium Duchownego, założonego przez biskupa Bernarda Maciejowskiego na Wawelu (stąd zwane zamkowym). Dwa pozostałe domy dołączył do seminarium w 1728 r., po przebudowie według planów Kacpra Bażanki, biskup Konstanty Felicjan Szaniawski. W 1801 r. władze austriackie zlikwidowały seminarium, a gmach, po robotach adaptacyjnych Jana Chrzciciela Markla, przeznaczyły na cele wojskowe (koszary w latach 1948-1905). Od 1913 r. w części budynku mieściło się Muzeum Etnograficzne, zlikwidowane przez hitlerowców. Na parterze w dawnym oratorium i refektarzu zachowała się barokowa dekoracja stiukowa; w sieni i piwnicy późnogotyckie i renesansowe portale. Obecnie w budynku znajdują się m.in. mieszkania pracowników wawelskich.