いつ頃誰が用いたのかはっきりしませんが、元祖の源頼光に始まるとの説があり、頼光の流れをくむ諸氏の中にも家紋とする者が少なくありません。

桔梗紋が初めて文献に出てくるのは『太平記』です。同書巻32南朝方勝利の条に「土岐の桔梗一揆、水色ノ旗ヲ差上、大鍬形ヲ夕陽ニ輝シ、魚鱗ニ連リテ六七百騎ガ程ヒカエタリ」と記されています。

その後明徳3年（1392年）の『相国寺塔供養記』に、土岐美濃守頼益が直垂（ひたたれ）に桔梗紋を用いたのが見られ、土岐氏が代々この紋を使用していたことを示しています。

また『明智系図』には、「家紋は水色桔梗なり」とあります。土岐氏系の紋章は、水色で着色された珍しいものです。

桓武平氏系の江馬（江間）党でも用いていますが、これは土岐氏から下賜されたものと思われます。