埼玉は越谷にある金剛寺の付近には武蔵七党の野与党の別府氏の館があったと言われています。

1441（嘉吉元）年に第6代室町幕府将軍・足利義教の命によって、別府氏は渋江、金重、白岡、野島、八条、大相模、大曽根、一色らの諸氏とともに、結城氏残党の大川戸氏を攻めています。

1504（文亀4）年には八条兵衛尉が向畑城主・新方氏を討ち取り、別府三郎左衛門を城主に据えています。しかし、1520（永正17）には新方氏の残党の高賢上人と岩附渋江氏によって攻められ、別府氏は館を追われたと考えられています。