托莱多门的建造者是不受欢迎的国王何塞·波拿巴，拿破仑的兄弟。托莱多门边的托莱多门市场原为马德里的中央鱼市，现在是一个贸易和文化中心。