1861年3月11日，总理衙门在清政府内部诞生了。
虽然外国人一般都称之为外交部，但实际上它的职能更像是军机处的一个下属机构，而不是一个正规的政府部门。
从此，中国政治体系内，正式有了“总理”这一称呼。
总理衙门最初被设想为一个临时性衙门，由一位帝胄亲王负责，另由一些大臣（开始时一般有3至5人，后来增至9至11人）协办，这些大臣同时兼任内阁部院官员——军机大臣、大学士、诸部尚书和侍郎。在他们之下是十六名办理文案的章京，满汉各八人。
恭亲王是总理衙门首任的、也是长期负责的大臣，军机大臣兼户部侍郎文祥则是该衙门的主要大臣，他一直供职至1876年去世。
作为一个办事机构，总理衙门没有编制，没有定级别，只是一个出于权宜之需创立的临时机构。
理论上，它只关心外交政策的执行而无干于政策的制定，因为最高决策权掌握在皇帝及其首要顾问军机大臣手中。但在实践中，总理衙门的奏请一般都获奏准，因为恭亲王和文祥两人均兼任军机大臣。
总理衙门分作五个股：俄国股、英国股、法国股、美国股和海防股。另有两个附属机构：海关总税务司署和同文馆。
总理衙门不仅办理外交事务，还开展一些现代化项目。
它提倡新式学堂、西洋科学、工业和交通，这使它经常遭到一些死硬的守旧派抨击，而外国人也时常批评它步伐不够迅速。因此，总理衙门就处在一种两头受气的境地——外国人指责它因循守旧、办事拖延，仇洋派则攻讦它将中国的利益出卖给外夷。
总理衙门在十九世纪六十年代发挥了积极的作用，但在1869-1870年以后的影响日减，当时慈禧太后再度训斥了恭亲王；而阿礼国协议也未能获得英国的批准；也正是在这两年间，李鸿章就任了直隶总督和北洋三口通商大臣之职。拥有这双重身分的李鸿章权力胜过了总理衙门。
虽然总理衙门未能有效地发挥外交机构的作用，但它作为现代化的倡导者却相当成功，它是中国在响应西方冲击时所设置的第一个重大的机构。
