汲黯出身于官宦世家，“世为卿大夫”，景帝时为太子洗马，太子即位，汲黯成为郎中令的属官，掌管接待宾客，通报传达之类的琐事。
汲黯为人耿直不折，敢于孤行己见。一年，东越相攻，武帝派汲黯前去视察，汲黯竟“不至”。上报时，他振振有词：“越人相攻，固其俗然，不足以辱天子之使。”河内郡失火，火势蔓延，殃及一千余家，武帝使汲黯前往。汲黯回来报告：河内不过普通人家失火，只是因为房屋毗连，有所毁损，不值忧虑。倒是路经河南，眼见百姓备受水、旱之苦，万户流离失所，甚而父子相食，便利用奉令出使的方便，“持节发河南仓粟以赈贫民”。
汲黯相机行事，武帝无法追究，本想将他“迁为荥阳令”了之，可汲黯却不领情，“耻为令”，竟托病退归故里。武帝念及汲黯追随自己多年，改任他为“中大夫”。在其位，谋其政。由此，汲黯屡屡直言进谏。武帝深怨汲黯不知变通，以为他不宜再在京城为官，便调他为东海郡太守。
汲黯崇尚黄老之言，主张清静无为。他治理郡政，只求基本方向把控，不求细枝末节。他因体弱多病，便“择丞史而任之”，自己则高卧家中。一年之后，东海“郡”泰民安，广为传颂。
武帝闻讯，将汲黯召回，任他为主爵都尉，列于九卿。汲黯一如既往，“为无为，则无不治”。
汲黯秉性倨傲，眼里容不得沙子，弄得许多士人都不愿意依附于他。汲黯曾在朝堂上公开指责廷尉张汤：“公为正卿，上不能褒先帝之功业，下不能抑天下之邪心，安民富国，使囹圄空虚，二者无一焉。”并恶言：以极端手段迫人就范，不顾法令成就个人功名，定会断子绝孙。即使退朝之后，汲黯还愤愤不平：“刀笔吏不可以为公卿。”一点也不讲究什么温良恭俭让。
汲黯斥责丞相公孙弘毫不留情：心怀诡计，貌似智慧，以顺从讨好皇上来稳固自己的地位；玩弄法律条文，随意陷人于罪，以“不得反其真”为功。汲黯“列为九卿”时，公孙弘、张汤不过小吏，没想到时过境迁，他们先后名列正九卿，自己依旧原地踏步。就此，汲黯还在武帝面前抱怨：“陛下用君臣如积薪耳，后来者居上。”
武帝崇尚儒学，一个时期广招儒家学者，他曾询问汲黯：“吾欲兴政治，法尧舜，何如？”汲黯反唇相讥：陛下心里的欲望很多，外表却装作施行仁义的样子，哪能指望达到尧舜治理天下的成就！弄得武帝退朝之后大骂：“甚矣，汲黯之戆也！”可汲黯不以为意：天子任命三公九卿，就是为了辅佐天子。怎能一味阿谀奉承，陷天子于错误境地？身在其位，即使爱惜身家性命，也不能玷污国家的荣誉！
视国家的荣誉胜过一切，汲黯的境界何其了得，却和者盖寡。公孙弘终于找机会给汲黯出了一个难题。他向武帝进言：右内史管辖京师，而京师达官贵人，皇亲国戚众多，最难治理，必须由声望显著的大臣方能胜任，请调汲黯担任右内史。其中暗藏杀机。可令公孙弘大失所望的是，汲黯却在任期内，无可挑剔，京城一派平和。
大将军卫青，是卫皇后的弟弟，汲黯与之见面，仍行平等之礼，揖而不拜。汲黯不以为然：大将军地位尊贵，又能平等接待只揖不拜的客人，不就更显其品行高尚吗？卫青听后，以为汲黯很有见地，不由对他另眼相看。
“招之不来，麾之不去”，这就是同僚眼中的“社稷之臣”汲黯，就连图谋反叛的淮南王刘安，最怵的只有汲黯:“好直谏，守节死义，难惑以非”；而淮南王对丞相公孙弘则不屑一顾:游说此翁，如同摇落几片枯叶一样，易如反掌。
匈奴浑邪王率众降汉，武帝一时兴起，竟要征发两万辆马车去迎接，以彰显大汉帝国无与伦比的国势和威风。可县级府衙没钱，只能向民间借马，而老百姓却不愿意，便把马藏了起来。征不齐马匹的预期数目，武帝迁怒于县令，以为他们办事不力，于是，想要斩长安县令之首，杀一儆百。
汲黯站了出来：长安县令无罪，要斩，斩我右内史。匈奴归汉，何至于要让天下惊扰，举全国之力来服侍他们！浑邪王率众抵达京师，商家将长安的货物卖给他们，结果触犯了当时的法令，有五百余人当斩。还是汲黯挺身而出：“陛下纵不能得匈奴之资以谢天下，又以微文杀无知者五百余人，是所谓‘庇其叶而伤其枝’者也。臣以为陛下不取也。”武帝没想到，汲黯竟斗胆与自己公开叫板，终于忍无可忍，寻得汲黯的一个不是，罢去了他的右内史之职。
几年后，武帝起用汲黯为淮阳太守。汲黯再三推辞，不肯受命。武帝则强扭其瓜，大吐苦水：“顾淮阳吏民不相得，吾徒得君之重，卧而治之。”并许诺，很快就会召他回来。汲黯只好辞行赴任，临行之前不忘告诫大行令李息，御史大夫张汤，“智足以拒谏，诈足以饰非，务巧佞之语，辩数之辞，非肯正为天下言，专阿主意。主意所不欲，因而毁之；主意所欲，因而誉之。”并提醒作为九卿之一的李息：及早地揭发张汤，以免招致后患。
汲黯在淮阳，亦如当年治理东海郡一样，也许是他的“无为而治”，让人倍感亲近，也许是他自身的声望，赢得人们的信任，一时淮阳政通人和，河清海晏。
而张汤则因为汲黯的出京，无人与之争锋，肆意兴风作浪，结果为官不卒，身败名裂。为此一向畏惧张汤而不敢直言的李息，还被追究了不言之罪。
汲黯身为地方官员，守土安民，造福一方；作为京畿大员，为民请命，忠于职守；而为人又铁骨铮铮，嫉恶如仇。自然也就赢得后人的歌之咏之: “今日朝廷须汲黯”“但得直声如汲黯”“千年汲黯今无人”。汲黯可以欣慰。
