要说藤堂虎高还要先说他的出身三井氏，就是后世著名的那个三井家族，这个三井家的出身其实也不错，出自藤原北家著名的関白太政大臣藤原道长之六男藤原长家一脉，同出于藤原长家一脉的名门还有大炊御门家，御子左家，冷泉家，以及和三井家一样作为分家分出去的大江家。

从藤原长家之孙藤原基忠开始，传到第七代藤原信文，分出了两个儿子分别改苗字目贺田氏与三井氏，其中苗字三井的就是三井家的初祖三井信尧，他们家定居在了近江国滋贺郡三井乡，因此而得苗字三井，自三井信尧之始又传十一代到三井家这一代家督三井虎高。

这个三井虎高就是现在名为藤堂虎高的家伙，他名讳里那个虎字正是来自大名鼎鼎的武田信虎，三井家一门惣领的位置传到三井虎高这一代时，已经日趋没落到无以为继的地步，为了谋生三井虎高不得不让出家领给亲族，自己离开近江前往远国放浪，就这么一路放浪到甲斐被武田信虎看重收为家臣。

武田信虎喜欢用客将是出了名的，多田满赖，原虎胤，横田高松以及这位三井高虎都是来自甲斐以外的国人，其中横田高松与三井高虎同为近江国的同乡，只不过在武田信虎被他儿子赶出家门之后，横田高松选择了继续坚持出仕，而三井高虎则选择了回乡种田。

回乡之后的三井虎高发现家乡和以前一样不那么好混，想回原籍又不好意思打扰亲族，好在他在甲斐当了近十年的家臣也颇有积蓄，最后找到了门路入赘到了犬上郡的土豪藤堂家做婿养子，然后在这一扎根又是十年过去。

他还不得不提三井家的另外一个分家，就是得到藤堂虎高原来家领的那个亲族，这个分家再确切点说出自鲶江氏，三井家前两代家督三井乘定生有一女，嫁给了近江另外一个大豪族佐佐木鲶江氏的鲶江高久，鲶江高久是近江国爱智郡鲶江城城主，当时娶三井乘定的女儿时，三井家还是挺阔的。

所以鲶江高久就让他和三井家女儿生的次子鲶江实忠别出，前往三井家宗家的滋贺郡三井乡与宗家一起生活，并把苗字也改成了三井作为三井家的支族，这一支又名佐佐木三井家，家纹是宇多源氏的四目结。

结果随着宗家三井家的衰落，三井虎高跑路到外近十年，回来以后又做了藤堂家的婿养子，三井家的家纹也舍弃换成了藤堂家的家纹藤堂茑，这样一来佐佐木三井家反而成了一门惣领家，在这一家的苦心经营下，三井乡的日子虽然艰苦但好歹还能活下去。

佐佐木三井家获得一门惣领之后，就和爱智郡的鲶江家宗家关系越来越远，尤其当鲶江家上代断嗣，由鲶江家上代家督的女婿，公卿三条为季的儿子继承鲶江家的家业之后，就和佐佐木三井家更加生分。

所以后来才有了三井家的三井高安，三井高俊两代因为近江战乱而长期放浪，直到三井高利时代依靠亲族藤堂高虎的支持，在江户站稳脚跟并发展起了三井家族这个庞然大物。

吉良义时虽然对这里面的弯弯绕绕了解不多，但是他知道一点那就是三井家是他滋贺郡的国人，领地就在大津附近，而三井家现任家督是三井越后守安隆，正在他所掌握的滋贺郡小脇城做城主，还曾几次来到坂本城拜谒吉良义时，就这么个家族在他眼皮子底下安稳的渡过一年多，他竟然毫无所觉的真是失败。

既然是在吉良家配下豪族，那么吉良义时也不在客气，直接把三井安隆招来问道：“越后守的嫡子年纪不小了吧？”

三井安隆被突如其来的问题给问愣住，过半晌回过神说道：“呃……臣下的嫡子胜八郎今年才十岁。”

“十岁已经不小了！本家不就是十岁元服的吗？即可回去为你的嫡子元服吧！”几句话把一头雾水的三井安隆打发回去，过几天三井安隆就带着元服的嫡子赶到坂本城谢恩，吉良义时大量这个比他还小一岁的男孩，长相普通唯有一双眼睛明亮透彻，看起来很聪明的样子。

“这就是越后守的嫡子吗？是个好苗子啊……你叫什么名字？”

“三井胜八郎高安！拜见馆主大人！”三井高安恭敬的躬身行礼，动作很标准一点也不像十岁的孩子。