潘翥弟，潘浚子也。孙权以姊陈氏女妻之，调湘乡令。襄阳记曰：襄阳习温为荆州大公平。大公平，今之州都。秘过辞于温，问曰：“先君昔曰君侯当为州里议主，今果如其言，不审州里谁当复相代者？”温曰：“无过于君也。”后秘为尚书仆射，代温为公平，甚得州里之誉。