隋河南洛阳人，字辅伯。少有大志，博涉书史，骁勇善射。北周齐王宇文宪引为记室。宣帝即位，从韦孝宽攻陈，颇有战绩，拜寿州刺史。入隋，授吴州总管。以平陈为己任，曾上平陈十策。开皇九年(589)，为行军总管，受晋王杨广(炀帝)节制，率军攻陈。兵渡长江，拔京口(今江苏镇江)，自北路攻建康(今南京)，于蒋山(今南京钟山)大败陈军主力，擒陈将萧摩诃等。陈亡后，与韩擒虎争功，加位上柱国，转右武候大将军，封宋国公。因家世显荣，又功过朝臣，而不得为相，常不服杨素、高颎，被文帝免官为民。后复爵位，但不复任使。大业三年(607)，从炀帝北巡至榆林，与高颎等以诽谤朝政罪被杀。