赵伦之，字幼成，下邳僮人也。孝穆皇后之弟。幼孤贫，事母以孝称。武帝起兵，以军功封阆中县五等侯，累迁雍州刺史。武帝北伐，伦之遣顺阳太守傅弘之、扶风太守沈田子出峣柳，大破姚泓于蓝田。及武帝受命，以佐命功，封霄城县侯，安北将军，镇襄阳。少帝即位，征拜护军。元嘉三年，拜镇军将军，寻迁左光禄大夫，领军将军。
宋书伦之虽外戚贵盛，而以俭素自处。性野拙，人情世务，多所不解。久居方伯，颇觉富盛，入为护军，资力不称，以为见贬。光禄大夫范泰好戏谓曰：“司徒公缺，必用汝老奴。我不言汝资地所任，要是外戚高秩次第所至耳。”伦之大喜，每载酒肴诣泰。五年，卒。子伯符嗣。