1261年に大友氏に従って神奈川県から大分県にやってきた永井実貞（後の富来氏）によって築城されました。

1336年には京都を追われた足利尊氏を富来忠茂が迎え入れています。

1593年に大友義統が改易されると城主の富来統長も領地を失い、城には豊臣秀吉の配下の垣見家純が入りました。

1600年の関ヶ原の戦いで西軍に付いた垣見家純は大垣城で討死。

関ヶ原の戦いの間隙を突いて九州制覇を狙う黒田如水の軍が攻めよせ落城。そして一国一城令により廃城と相成りました。