唐并州晋阳(今山西太原西南)人，字茂约。隋时，因父与李渊(唐高祖)同领禁卫，故与李世民(太宗)相知。后随李渊、李世民父子晋阳起兵，授记室参军。李世民为渭北道行军元帅，以为司马，从平京城。唐武德初，任中书侍郎。武德二年(619)，为刘武周所俘。武周兵败，封府库收兵甲以待唐军，受高祖嘉奖，复官。迁礼部尚书、天策府长史，封营国公。贞观初，出使突厥，游说颉利可汗，懈其戒备。贞观四年(630)，李靖乘机袭擒颉利可汗。岁余授民部尚书。曾谏止太宗狩猎。十七年，名列凌烟阁。居官不事事，与宾客纵酒为乐。永徽初致仕。卒陪葬昭陵。

唐俭