源攝津守頼光の五代の孫、源出羽守光信は美濃国土岐郷を所領とした。この光信が土岐判官と称したのが始まり。家紋は桔梗など。