当社は平安京造営の際、陰陽道に依り大内裏（御所）の北西角の天門に星神 「大将軍堂」を建て 方位の厄災を解除する社として創建されたという。
創建当初は陰陽道のお堂として建てられた為「大将軍堂」と称し江戸時代に入り 大将軍村の鎮守社として祀られる様になった。
又、その頃からそれまでの北斗妙見信仰から太白精の信仰に移り暦神と習合して 「大将軍八神宮」とも称した。

祭神は古来の日本の神ではなく大将軍一神を祀っていたが、 明治時代に「神仏分離令」によって 神道を国教とし現在の形「素盞鳴尊、その御子五男三女神、並びに 桓武天皇を合祀」となり、御子八神と暦神の八神が習合して以後社名は「大将軍八神社」という。

祭神を素盞鳴尊とした理由は 、 1433年伏見宮貞成親王の日記「看聞御記」より、大将軍堂は1340年から約100年の間祇園社 （現　八坂神社）の管理下にあった。 八坂神社の祭神が素盞鳴尊であり、 その神格が大将軍神と似通っている事から関連付けられたと思われる。

初見の資料としては『山槐記』に治承２年 （１１７８） １１月１２日高倉天皇の中宮建礼門院の安産祈願の際、 諸社寺に奉幣使が参向したが、 その４１社の内の１社として記されている。
大将軍社の所在を示す文献としては『明徳記』「山名方の配備」に 「大葦次郎左衛門・・・五百餘騎上梅津より 仁和寺を経て並岡を 東へ一條の末を大将軍の鳥居 の前へかけいでて・・」（岩波書店刊）とあり、 応仁の乱等数々の苦難の中でも諸人の厚い信仰を受けていたと思われる。

又、江戸時代には方除厄除１２社参りが流行し 、その際に建立された天保１１年の標石は現在も門前にある。