力观衅。及闻元显已统军出讨，也不禁意外惊心，因欲完城聚甲，为自固计。长史卞范之道：“明公声威，传闻远近，元显口尚乳臭，刘牢之大失物情，若进逼近畿，示以祸福，势必瓦解。明公自可得志，怎可延敌入境，自取穷蹙呢？”玄依范之言，遂抗表传檄，罪责元显。留兄伟守江陵，自举大兵东下。途次尚未免却顾，及行过寻阳，并不见有官军，才放大了胆，驱军急进，部众亦勇气加倍。又探悉庾楷诡谋，分兵诱袭，把他拘住，于是江东大震。元显甫出都门，接得桓玄来檄，已经心慌，再得庾楷被囚消息，免不得惊上加惊，勉强下船，终不敢发。晋廷上下，也不免着忙，特遣齐王柔之，原故南顿王宗之子，过继齐王冏，承祀袭封。执着驺虞幡，出告荆江二州，谕令罢兵。途中遇着桓玄前锋，不服朝命，竟将柔之杀死。玄顺流直至姑孰，使部将冯该等，往攻历阳。襄城太守司马休之，即谯王尚之弟。婴城固守，玄军堵截洞浦，纵火焚豫州军舰。豫州刺史谯王尚之，率步卒九千，列阵浦上，又遣武都太守杨秋，屯兵横江。秋竟降玄军，反引玄军攻尚之，尚之众溃，自奔涂中，避匿数日，终被玄军擒去。休之出战败绩，弃城遁走。
刘牢之本来观望，不附元显，他想利用桓玄，除去元显父子，再伺玄隙，把玄翦除，然后好职掌大权，唯所欲为，算盘太精明了。所以牢之虽为前驱，始终未肯效力。下邳太守刘裕，此时也奉调从军，为牢之参谋，请牢之亟往击玄。牢之摇首不答。可巧牢之的族舅何穆，阴受玄嘱，进说牢之道：“从古以来，功高必危，试看越文种，秦白起，汉韩信，俱身事明主，尽忠戮力，功成以后，且不免诛夷，何况为暗主所任使呢？君如今日战胜，亦必倾宗，战败当然夷族。胜败俱不能自全，何若幡然改图，尚得长保富贵。古人射钩斩袪，还不害为辅佐，今君与桓玄，素元嫌隙，难道不好相亲么？”牢之正有此意，便令何穆报玄，阴与相通。刘裕再谏不从，牢之甥何无忌，为东海中尉，也极谏牢之，终不见听。裕又使牢之子敬宣入谏，以汉董卓比玄，请牢之急击勿失。牢之反怒叱道：“我也知桓玄易取，但平玄以后，试问骠骑能容我否？”敬宣不好违父，只得唯唯听受。牢之遂遣敬宣潜诣玄营，奉上降书。玄佯为优待，授任谘议参军，乘势进迫建康。