唐华州郑县(今陕西华县)人。以武举高第累迁天德军使，兼九原太守、朔方节度右兵马使。天宝十四载(755)，安禄山反，为灵武太守、朔方节度使，率本军东讨，收云中、马邑，开东陉关，以功加御史大夫。次年，与李光弼大败史思明，军威大震，河北诸郡皆起而响应。肃宗召至灵武，进兵部尚书、同平章事，仍总节度。至德二载(757)，败崔乾祐叛军，收复河东蒲州(今山西永济西南)。旋充关内、河东副元帅。遂与广平王李俶(代宗)率蕃、汉十五万军收复两京。乾元元年(758)，与李光弼等共九节度使围安庆绪于邺(今河南安阳)。次年，溃败，宦官监军鱼朝恩乘机谮之，因罢兵权。上元二年(761)，李光弼兵败邙山(今河南洛阳北)。 次年，河中、太原军乱，复起为朔方、河中、北庭、潞、泽节度行营兼兴平、定国副元帅，进封汾阳郡王，出镇绛州，镇抚诸军。代宗立，复为宦官程元振所构，罢副元帅，充肃宗山陵使，乃上表自诉。代宗欲起用之，为宦官所间，仍留京师。广德初，吐蕃攻京师，代宗奔陕，急召为关内副元帅。时部下惟二十骑，乃收兵得数千人，以虚张旗帜，鸣鞞鼓，使吐蕃惊骇而去，以功图形凌烟阁。广德二年(764)，仆固怀恩叛唐，他为朔方节度大使，招抚怀恩之众。后怀恩引回纥、吐蕃、党项数十万攻唐，京师震恐。他奉急召至泾阳(今属陕西)，说服回纥酋长，共破吐蕃，朝廷赖以为安。德宗即位，尊为尚父，召还京师，进太尉、中书令，以年老，所领诸使、副元帅并罢。卒谥忠武。

郭子仪