唐代的横塞城，原址在该区巴盟乌拉特前旗境内，沧桑巨变，现在已淹圯在乌梁素海的海腹之中。
横塞区始建于唐天宝八年，据《旧唐书》载：唐天宝八年“三月，朔方节度使张齐丘于中受降城北筑横塞城”是年的十二月又“改横塞城为天德军”。
横塞，顾名思义，即边外要塞之意。
后来所以改名为天德军，原因大概是战事已息，民族友好往来，节度使以“天德”颂上，这种情形在封建社会是常有的。也正是在那一年，唐玄宗正式被尊为：天元太地宝圣文神武孝证道皇帝。
但是，久已淹圯的横塞城即天德军城的确切位置。则是近年才确定的。一九七六年，该处的额尔登宝拉格赛胡洞，发现了一座唐代墓。我区考古工作者张郁等人，于清理墓葬时，从墓碑中考证，揭开了天德军即横塞城所在位置之谜。
此墓位于现在乌梁素海的东畔，在前、后乌拉山所形成的明岸（安）川西端，墓志铭文中所记载的主人叫王逆修，系唐时天德军州都防御马步都虞侯，虽然是个偏裨将佐之官，但位置却很重要。墓铭中记载了他死后“安葬于军南五里”。即天德军城南五里。那么墓北五里，当然就应该是天德军了。不过，现在那里已经沦为乌梁素海底了。更为有趣的是：在这块墓碑的铭文中，主人还提到以位屈身奴婢地位的女子十五娘的概况。
横塞城即天德军城遗址的发现和确定，为我们了解研究唐代我区政治、经济、文化以及民族关系提供了重要线索和依据，历来争讼不一的黄河北支故道，也从天德军位置的确定中，找到了依据。
