Unico dei tre castelli cittadini a essere sopravvissuto allo smantellamento delle fortezze valtellinesi perpetrato dai Grigioni dominatori della Valtellina, ha origini medioevali testimoniate dai due imponenti torrioni di nord-est e nord-ovest. Numerosi tuttavia sono stati i rimaneggiamenti: nel rinascimento, infatti,il castello fu adibito a rsidenza, abbellito da una loggetta, una torretta adibita a colombaia e una stanza affrescata con volta ad ombrello. Nell'ala ottocentesca è repsente il Museo del Castello, con reperti storici che raccontano le vicende della denominazione delle Tre leghe grigioni sulla valle, tra il 1512 e il 1797.