美濃北方（合渡）城に居して斎藤氏に仕え、稲葉・氏家と並び美濃三人衆と称される。当時、斎藤氏老臣の連署状には、必ず名を連ねている。

永禄7年（1564年）2月、女婿の竹中重治が稲葉山城を乗っ取った時、これに加担した。信長に降ったのは、稲葉・氏家と同じく永禄10年8月。信長はこれを機に稲葉山を急襲、城主斎藤竜興を放逐した。

以後しばらくは、三人衆として一軍を形成して行動することが多く、天正元年（1573年）4月27日付の、将軍義昭の側近宛ての起請文にも、「濃州三人衆」と署名している。

三人衆がまとまった形の軍団は、信長の宿将の軍団に比べ、兵力においても遜色なく、彼らは尾張衆と差別なく使われ、槙島攻め、朝倉攻め、長島攻め、更には北陸・播磨への遠征にも参陣している。

美濃の大部分が信忠の支配下に入ってからも、美濃三人衆は、依然として信長に直属し、旗本部将ともいうべき立場だった。だが天正8年8月、安藤父子は突然追放された。武田氏に内通の罪だという。

本能寺の変後の混乱に乗じて、安藤父子は旧城北方に拠って地位の回復を図ったが、稲葉良通父子に攻められ、空しく討死した。