大広間・玄関

外観は延びのある入母屋屋根と、庇の間に真壁を見せる清廉な意匠とする。

仏間棟

客間棟の西に接続して建つ宝形造りの建物。6畳の間の背後に花唐窓風の縁取り壁を配した仏壇を設ける。
簡素な建物ながら洗練された意匠になる、質の高い純和様の建物である。

東土蔵

凝灰岩の切石積基礎に建つ2階建ての漆喰塗の土蔵で、妻入とし出入口はじめ全体的に開口部を小さくまとめあげる。もと米蔵として使用された。
近年の改修で、腰下を石張風の仕上げとし、瓦葺の屋根の両妻側のみ銅板葦とする。屋敷構えの一構成要素である。

子供室

子供室は、大広間・玄関棟の背面に接続して建つ平家建ての建物で、子供部屋2室・女中部屋2室等からなる。
いずれも質の高い和風建物である。

門

記念館の正門として広く知られる大型の一間薬医門で、左右に袖塀が付く。反りのある伸びやかな流れの屋根は、均整のとれた構成になろこの門を特長付けている。
各部の造りは正統的で、近代和風建築としての技術水準の高さを示す好例である。

北土蔵

東土蔵と同様の構造になり、開口部の構造も類似するが、規模一回り小さい。元は上杉家関係の文書や美術品等の収蔵にあてられたといわれる。置き屋根形式になる屋根の軒廻りを板張りとし、腰下には下見板を張る。
東土蔵とともに屋根構えの構造要素である。

警護棟

記念館入り口の門脇に建つ入母屋造りの建物で、もとは警察官が駐在するための施設であったが、近年は市観光物産協会が使用し観光案内等を行っていたが、現在は和風カフェ「米織・茶寮 和庭（なごみてい）」を営業している。
規模は小さいが、延びのある入母屋屋根が特長で、屋敷構えを知る上でも欠かせない存在である。

使用人室

大広間・玄関棟に接続し、その北東側に位置する入母屋造り、平屋建てを基本とした和風建物。平面は、子供部屋2室・女中室・台所等からなる。
全体として簡素ながら、子供室同様に上質の杉材を用いた丁寧な造りになる。