寺院でも、藤原氏の氏寺の奈良興福寺、近衛家の女人が幾人も嫁いだ京都本願寺など、数ヶ寺が寺紋としたのみでした。従って江戸時代には菊、葵に次ぐ、最も権威ある紋章とされていたのです。藤原氏がこれを用いたのは、牡丹が胎蔵界曼荼羅のシンボルであるところから、子孫の繁栄を願ってのものと思われます。

この他、清和源氏頼光流及び満快流の諸氏も家紋としましたが、これらは「牡丹に唐獅子」の獅子を省略したもので、本来の牡丹紋ではありません。