之率参军刘袭、诸葛求等直进渡水，临阵斩成及其弟云，又分兵断其归津。贼步骑崩溃，争赴淮水，杀获万余人，尽收其器械。坚寻亦大败，归长安，余党所在屯结。牢之进平谯城，使安丰太守戴宝戍之。迁龙骧将军、彭城内史，以功赐爵武冈县男，食邑五百户。牢之进屯鄄城，讨诸未服，河南城堡承风归顺者甚众。
时苻坚子丕据鄴，为慕容垂所逼，请降，牢之引兵救之。垂闻军至，出新城北走。牢之与沛郡太守田次之追之，行二百里，至五桥泽中，争趣辎重，稍乱，为垂所击，牢之败绩，士卒歼焉。牢之策马跳五丈涧，得脱。会丕救至，因入临漳，集亡散，兵复少振。牢之以军败征还。顷之，复为龙骧将军，守淮阴。后进戍彭城，复领太守。祅贼刘黎僭尊号于皇丘，牢之讨灭之。苻坚将张遇遣兵击破金乡。围太山太守羊迈，牢之遣参军向钦之击走之。会慕容垂叛将翟钊救遇，牢之引还。钊还，牢之进平太山，追钊于鄄城，钊走河北，因获张遇以归之彭城。袄贼司马徽聚党马头山，牢之遣参军竺朗之讨灭之。时慕容氏掠廪丘，高平太守徐含远告急，牢之不能救，坐畏懦免。
及王恭将讨王国宝，引牢之为府司马，领南彭城内史，加辅国将军。恭使牢之讨破王廞，以牢之领晋陵太守。恭本以才地陵物，及檄至京师，朝廷戮国宝、王绪，自谓威德已著，虽杖牢之为爪牙，但以行阵武将相遇，礼之甚薄。牢之负其才能，深怀耻恨。及恭之后举，元显遣庐江太守高素说牢之使叛恭，事成，当即其位号，牢之许焉。恭参军何澹之以其谋告恭。牢之与澹之有隙，故恭疑而不纳。乃置酒请牢之于众中，拜牢之为兄，精兵利器悉以配之，使为前锋。行至竹里，牢之背恭归朝廷。恭既死，遂代恭为都督兗、青、冀、幽、并、徐、扬州、晋陵军事。牢之本自小将，一朝据恭位，众情不悦，乃树用腹心徐谦之等以自强。时杨佺期、桓玄将兵上表理王恭，求诛牢之。牢之率北府之众驰赴京师，次于新亭。玄等受诏退兵，牢之还镇京口。
及孙恩攻陷会稽，牢之遣将桓宝率师救三吴，复遣子敬宣为宝后继。比至曲阿，吴郡内史桓谦已弃郡走，牢之乃率众东讨，拜表辄行。至吴，与卫将军谢琰击贼，屡胜，杀伤甚众，径临浙江。进拜前将军、都督吴郡诸军事。时谢琰屯乌程，遣司马高素助牢之。牢之率众军济浙江，恩惧，逃于海。牢之还镇，恩复入会稽，害谢琰。牢之进号镇北将军、都督会稽五郡，率众东征，屯上虞，分军戍诸县。恩复攻破吴国，杀内史袁山松。牢之使参军刘裕讨之，恩复入海。顷之。恩浮海奄至京口，战士十万，楼船千余。牢之在山阴，使刘裕自海盐赴难，牢之率大众而还。裕兵不满千人，与贼战，破之。恩闻牢之已还京口，乃走郁洲，又为敬宣、刘裕等所破。及恩死，牢之威名转振。
元兴初，朝廷将讨桓玄，以牢之为前锋都督、征西将军，领江州事。元显遣使以讨玄事谘牢之。牢之以玄少有雄名，杖全楚之众，惧不能制，又虑平玄之后功盖天下，必不为元显所容，深怀疑贰，不得已率北府文武屯洌洲。桓玄遣何穆说牢之曰：“自古乱世君臣相信者有燕昭乐毅、玄德孔明，然皆勋业未卒而二主早世，设使功成事遂，未保二臣之祸也。鄙语有之：‘高鸟尽，良弓藏；狡兔殚，猎犬烹。’故文种诛于句践，韩白戮于秦汉。彼皆英雄霸王之主，犹不敢信其功臣，况凶愚凡庸之流乎！自开辟以来，戴震主之威，挟不赏之功，以见容于暗世者而谁？至如管仲相齐，雍齿侯汉，则往往有之，况君见与无射钩屡逼之仇邪！今君战败则倾宗，战胜亦覆族，欲以安归乎？孰若翻然改图，保其富贵，则身与金石等固，名与天壤无穷，孰与头足异处，身名俱灭，为天下笑哉！惟君图之。”牢之自谓握强兵，才能算略足以经纶江表，时谯王尚之已败，人情转沮，乃颇纳穆说，遣使与玄交通。其甥何无忌与刘裕固谏之，并不从。俄令葆宣降玄。玄大喜，与敬宣置酒宴集，阴谋诛之，陈法书画图与敬宣共观，以安悦其志。敬宣不之觉，玄佐吏莫不相视而笑。
元显既败，玄以牢之为征东将军、会稽太守，牢之乃叹曰：“始尔，便夺我兵，祸将至矣！”时玄屯相府，敬宣劝牢之袭玄，犹豫不决，移屯班渎，将北奔广陵相高雅之，欲据江北以距玄，集众大议。参军刘袭曰：“事不可者莫大于反，而将军往年反王兗州，近日反司马郎君，今复欲反桓公。一人而三反，岂得立也。”语毕，趋出，佐吏多散走。而敬宣先还京口拔其家，失期不到。牢之谓其为刘袭所杀，乃自缢而死。俄而敬宣至，不遑哭，奔于高雅之。将吏共殡敛牢之，丧归丹徒。桓玄令斫棺斩首，暴尸
