神楽坂にある光照寺の一帯は北条氏康の家臣・大胡勝行の居城にあたります。

大胡勝行は扇谷上杉朝興に仕え上野大胡城の城主でしたが、扇谷上杉朝興が河越城で落命すると小田原北条氏を頼って神楽坂に落ち延びました。