龚遂，字少卿，是山阳郡南平阳县人。因为通晓儒学做了官，做到昌邑王国的郎中令，为昌邑王刘贺效力。
汉宣帝刘询即位，过了很长一段时间，渤海及其邻郡年成不好，盗贼纷纷出现，当地郡守无法捉拿制服。皇上想选拔善于治理的人，丞相御史推荐龚遂可以胜任，皇上任命他做渤海郡太守。当时龚遂已经70多岁了，被召见时，由于他个子矮小，宣帝远远望见，觉得跟传闻中的龚遂不相合，心里有点轻视他，对他说：“渤海郡政事荒废，秩序紊乱，我很担忧。先生准备怎样平息那里的盗贼，使我称心满意呢？”龚遂回答说：“渤海郡地处海滨，距京城很远，没有受到陛下圣明的教化，那里的百姓被饥寒所困，而官吏们不体贴，所以使您的本来纯洁善良的臣民偷来您的兵器，在您的土地上玩玩罢了。您现在是想要我用武力战胜他们呢，还是安抚他们呢？”宣帝听了龚遂的应对，很高兴，就回答说：“既然选用贤良的人，本来就是想要安抚百姓。”龚遂说：“我听说治理秩序混乱的百姓就如同解紊乱的绳子，不能急躁；只能慢慢地来，然后才能治理。我希望丞相御史暂时不要用法令条文来约束我，让我能够根据实际情况，不呈报上级而按照最有效的办法处理事情。”宣帝答应了他的要求，格外赏赐他黄金物品派遣他上任。