Původně šlo o zeměpanský hrad, jehož západní zdi byly součástí městských hradeb. Z gotické stavby se zachovala část sklepů s valenou klenbou, portálek do sklepa a dvě místnosti v přízemí. V roce 1607 se tvrz stala majetkem provazníka Šimona Pírka, který přestavěl gotickou tvrz na městský palác. Dům bývá nazýván domem pánů z Lipé, neboť jej zdobí erby tohoto šlechtického rodu. Po rodině Pírkových vlastnili dům Lichtenštejni, kteří jej později darovali hejtmanovi krumlovského panství Jiřímu Borskému. Do majetku města přešel dům před více než třemi stoletími. Do roku 1883 v něm byla kasárna, pak škola. Dnes jsou v budově kanceláře městského úřadu. Zrekonstruované nádvoří se využívá k pořádání kulturních akcí.