前秦大举进攻的消息传到建康，晋孝武帝和许多文武官员非常恐慌。东晋的广大人民害怕遭受氐族贵族的残暴统治，坚决要求抵抗。东晋的统治阶级，为了维持偏安政权和自己的利益，又考虑到西晋由于不抵抗而亡国，也感到除了抵抗以外再无出路。在宰相谢安主持下，东晋政府决定发兵抵抗前秦的进攻。

谢安，字安石，是一位有丰富统治经验和远大政治眼光的地主阶级政治家。他的祖上原先是北方的地主，以后全家迁到了江南。谢安年轻的时候，朝廷召他出来作官，他不肯，后来他在会稽东山(今浙江省上虞县西南的东山)隐居起来。公元373年，谢安终于应召出山，被朝廷任命为宰相，执掌朝政。他上台以后，和当时东晋政府中另一个重要人物车骑将军桓冲密切合作，并起用那些在政治上失势的人才，让他们能够为国家出力。在军事上，任命谢石、谢玄等人为将领，加强对前秦的防御。所以在淝水之战以前，东晋统治阶级内部比较稳定和团结，社会比较安定，政权比较巩固，军事上也是有准备的。

这次前秦大军压境，谢安被孝武帝任命为战时最高统帅征讨大都督。谢安首先下令把淮河以北的老百姓迁到淮南，实行坚壁清野，防止前秦掠夺东晋的劳动力，同时用以补充自己的兵源。

在军事上，谢安认为淮河一线是苻坚进攻的主要方面，所以首先必须派重兵在这一线布防。他推派自己的弟弟谢石代理征讨大都督的职务，指挥全军；选派优秀的将领谢玄做前锋都督，连同青年将领谢琰和桓伊等一起，率领80000名精锐的“北府兵”去迎击秦军。另外，谢安又派了将军胡彬，率领5000名水军去增援寿阳。

谢玄在率领北府兵出发之前，去见谢安，问他怎样才能打败秦军。谢安从容不迫地回答说：“朝廷已经作好了安排，你只管去好了。”说完就不再开口了。谢玄有些纳闷，可是又不敢再问，就托一个叫张玄的同事再去请示谢安。谢安不但没有作答，反而和张玄一道乘车到山中别墅游玩去了。谢安邀张玄下围棋。张玄的棋艺本来比谢安高明，往日下棋，总是张玄赢，谢安输；可是今天张玄老担忧着前方的军事，结果没有获胜，下成了和棋。谢安在山中整整游玩了一天，直到深夜才回家。

大敌当前，谢安就是这样的沉着、冷静，从容不迫，并且充满胜利的信心。看到宰相这样，满朝文臣武将的心也镇定下来了。