战后，谢安上疏请求北征，孝武帝于是以谢安都督扬、江、荆、司、豫、徐、兖、青、冀、幽、并、宁、益、雍、梁共十五州军事，加假黄钺，其余官职如旧，又增设从事中郎二人。谢安上书辞让太保之职及爵位，朝廷不许。
桓冲在淝水之战之后不久去世，谢安没有让谢玄任荆、江两州刺史，又担心桓氏失去荆、江二州的职权会不服，桓石虔有沔阳的战功，谢安考虑到桓石虔骁猛善战，据有险胜之地，恐怕难以控制，于是任命桓石民为荆州刺史，命桓伊改镇江州，桓石虔镇豫州，使三桓统辖三州，彼此无怨言，各得其所，为接下来的大规模北伐稳定了后方。谢安执政，从长远考虑，使部属之间无争无斗，大抵都是这样。
太元九年(384年)八月，谢安起兵北伐。东路的谢玄率领北府兵自广陵北上，一路收复了兖州、青州、司州、豫州，中路和西路的桓氏则出兵攻克了鲁阳和洛阳，并收复了梁州和益州。至此，淝水之战前秦、东晋以淮河-汉水-长江一线为界的局面改成了以黄河为界，整个黄河以南地区重新归入了东晋的版图。
淝水之战的巨大胜利，谢安的事先筹划功不可没。而且谢安从战前的“围棋赌墅“到战后的“小儿辈大破贼“，自始至终一直采取极为冷静的态度，对于稳定当时建康的人心起到了关键的作用。此次战争使谢氏的声望达到顶峰。但当时会稽王司马道子专权，奸谄小人开始乘机煽风点火，捏造罪名陷害忠良。谢安与孝武帝之间渐生嫌隙，一日，孝武帝召桓伊宴饮，谢安坐陪。孝武帝命桓伊吹笛，桓伊神色自若的吹了一曲，然后放下笛子说:“臣对于筝的情分不如笛，然而足以用来与歌管配合，请允许臣奏筝歌唱，并请求来一个吹笛人为臣伴奏。“孝武帝认为他在音乐方面有才能，就下令让一个御妓奏笛。桓伊又说:“御府的人与臣必定配合不好，臣有一奴，擅长与臣配合。“孝武帝更加赏识他的放纵轻率，于是允许他把家奴召来。家奴吹起笛子，桓伊就抚筝而歌唱怨诗说:“为君既不易，为臣良独难。忠信事不显，乃有见疑患。周旦佐文武，《金朦》功不刊。推心辅王政，二叔反流言。“他的歌声慷慨激昂，俯仰可观。谢安为之落泪，眼泪将衣襟沾湿。一曲终了，谢安越席来到桓伊的身边，捋着自己的胡须说:“使君在此表现得很不一般!“孝武帝面露愧色。
会不会做人，真的需要有脑子。谢安以为别人过分，其实是她们君臣会演戏，会做好自己的本分。谢安不但不是装糊涂，而且不给他们留面子，简直就是在自己找死。小花很怀疑这个谢安有没有脑子，小花怎么会有这么一个没有脑子的祖先？要是谢安有小花一半聪明的话，他的结果一定会好过不少。小花越来越为这个没脑子的祖先担心结果。
太元十年(385年)四月，谢安借口救援苻坚，主动交出手上权力，自请出镇广陵的步丘，建筑新城来避祸。孝武帝在西池为谢安设筵饯行，并敬酒赋诗。谢安虽受朝廷嘱托，但隐居东山的志趣始终未消失，每每露于形色。及至出镇新城，携带全家前往，制造泛海的船只和装备，打算等到天下大体安定后，从水道回东山。但不久后，谢安病重病。上书朝廷请求估量时局停止进军，并召其子征虏将军谢琰解甲息兵，命龙骧将军朱序进据洛阳，前锋都督谢玄与彭城、沛县之敌对峙，委任谢玄为督察。如果二城守敌凭借地形顽抗，待来年涨水，东西夹攻。孝武帝诏令侍中赴新城慰劳，谢安获准返回建康。听说自己的车驾已进入建康的西州门，自以为壮志不成，功业未就，因而感慨万分，对所亲近的人怅然道:“从前桓温执政时，我常常担心不能保全自身。忽然有一天梦见自己乘坐桓温的车驾走了十六里地，看见一只白鸡后停了下来。乘坐桓温的车驾，预兆将代替他执掌朝政。十六里，从我执政到今天刚好十六年了。白鸡属酉，如今太岁星在酉，是凶兆，我这一病大概再也起不来了!“于是上书逊位，孝武帝派侍中、尚书晓喻朝廷旨意。之前，谢安从石头出发，金鼓忽然破碎，又加上谢安说话从不出差错，这一天忽然出现谬误，众人觉得十分奇怪。
同年八月二十二日(10月12日)，谢安病逝于建康，享年六十六岁。孝武帝闻讯后，在朝堂里哭吊三天，赐棺木、朝服一具，衣一套，钱百万，布千匹，蜡五百斤，追赠太傅，谥号“文靖“。因为谢安没有私宅，孝武帝于是诏令在其官府中备办丧事仪式。到下葬时，其葬礼规格与桓温相同。又因击败苻坚的功勋，被追封为庐陵郡公。
永初元年六月十四日(420年7月10日)，刘裕代晋称帝，建立刘宋，当时前朝东晋的封爵中只有王导、谢安、温峤、谢玄与陶侃子孙的爵位未被废除。谢安的爵位庐陵郡公被降封为柴桑县公，食邑一千户。
虽然后来谢安意识到了问题，但是他的过分和傲慢已经害了他。就算他及时悔改和主动退让，但是依然没有保住他自己和谢家。自从他死后，谢家等于败落了，谢家的人开始被皇室的人盯上了。他虽然让谢家壮大了一些，但是也导致谢家和当时的皇室有了分歧，谢家因此败落。他算是救了谢家还是害了谢家呢？
谢玄(343年~388年)，字幼度，陈郡阳夏(今河南省太康县)人。东晋名将、军事家。豫州刺史谢奕之子、太傅谢安的侄子。
谢玄出身陈郡谢氏。有经国才略，善于治军，起家大司马桓温部将。太元二年(377年)，为抵御前秦袭扰，担任建武将军、兖州刺史、广陵相，都督江北诸军事。招募北来民众中的骁勇之士，组建“北府兵“。太元四年(379年)，率兵击败前秦进攻，进号冠军将军、徐州刺史。淝水之战中，出任前锋都督，先遣部将刘牢之率部夜袭洛涧，首战告捷。抓住战机，计诱前秦军后撤，乘势猛攻，取得以少胜多的巨大战果。太元九年(384年)，乘胜开拓中原，先后收复了河南、山东、陕西南部等地区，因病改任左将军、会稽内史。
太元十三年(388年)，谢玄病逝，时年四十六岁，朝廷追赠车骑将军、开府仪同三司，谥号“献武“。
谢玄出生于陈郡谢氏家族，其家在谢玄时代已逐渐成为江左高门，号称“诗酒风流“。谢玄生父谢奕，官至安西将军、豫州刺史;母亲阮容，是西晋名士阮籍、阮咸的族人。
谢玄自幼聪慧，且理解能力强，与堂兄谢朗一同为叔父谢安所器重。谢安曾告诫自己的子侄们，问道:“我们家的子侄并不需要出来参与政事，为什么还要每个人都有才能呢?“一时谁也没有回答上来，这时谢玄答道:“像芝兰玉树一样，而且要让他生在阶前庭院中。“谢安听后非常高兴。谢安又曾问谢玄在《诗经》中最喜欢哪句，他回答说是“昔我往矣，杨柳依依;今我来思，雨雪霏霏。“他因此被后世人认为是性情中人。
谢玄成年后，显示出了治理国家的才能，朝廷几次征召，他都推辞不受。后来，他与王珣一起被桓温辟为掾属，都受到了桓温的礼遇和器重。转任征西将军桓豁的司马、领南郡相、监北征诸军事。当时前秦苻坚正是势力强盛之际，多次侵扰东晋边境。朝廷于是下令征召能够抵御外患的良将。谢安任人不避亲，推荐了谢玄。
中书侍郎郗超历来与谢玄不和，但听到这一举荐，也不得不叹息说:“谢安敢于冒触犯众怒的危险举荐亲侄子，确实是英明的;谢玄一定不辜负他叔叔的推荐，因为他确实是难得的人才。“当时许多人都不赞同郗超的看法，郗超说:“我曾经与谢玄共同在桓将军幕府做事，亲眼见他用人能各尽其才，即使是一些细小事务，安排人也非常恰当。我因此知道他一定能成功。“朝廷于是召谢玄回朝，授其为建武将军、兖州刺史，领广陵相，监江北诸军事。
谢玄在任上，广募顽强勇敢之人，刘牢之与何谦、诸葛侃、高衡、刘轨、田洛及孙无终等人都因为勇敢威武而应选。谢玄授刘牢之为参军，命他领精锐为前锋，百战百胜，号称“北府兵“，前秦对其颇为畏惧。
不久，谢安上奏朝廷，认为苻坚新近败丧，应乘有利时机，以谢玄为前锋都督，率冠军将军桓石虔直指涡、颍，经略旧都。于是谢玄又率部进驻彭城，遣参军刘袭攻打苻坚的兖州刺史张崇于鄄城，赶走张崇，派刘牢之据守鄄城。