《史记．留侯世家》：“顾上有不能致者，天下有四人。四人者年老矣，皆以为上慢侮人，故逃匿山中，义不为汉臣。”唐．司马贞《史记索隐》：“四人，四皓也，谓东园公、绮里季、夏黄公、角里先生。”晋．皇甫谧《高士传》卷中：“四皓者……乃共入商𨿅，隐地肺山，以待天下定。及秦败，汉高祖闻而征之，不至，深自匿终南山，不能屈已。”

黄绮为四皓中夏黄公与绮里季的合称。诗文中用作四皓的代称，并用为咏隐士的典故。

唐．王维《送李太守赴上洛》诗：“若见西山爽，应知黄绮心。”