原名刘国章，河南信阳人。在开封二中读书时投身学生运动。1925年2月，加入中国共产主义青年团。6月，转为中共党员。五卅惨案发生后，作为开封学生联合会常务干事，代表河南学生赴上海出席第七届全国学生代表大会。7月，任共青团开封地委候补委员。10月，由中共党组织选送至苏联莫斯科中山大学学习。
1927年2月，随苏联共产党代表团到武汉，出席中共五大，任翻译。11月任瞿秋白秘书。1928年夏，在上海担任中共中央翻译科科长，兼管与兄弟党驻上海代表的联络工作。1934年2月，赴江西中央苏区，任中央革命军事委员会秘书、苏区中央局秘书。
1934年10月，参加长征。任红军总司令部政治教导员、中共中央西北局秘书长、红二方面军政治部宣传部长。在张国焘另立中央的分裂活动中，与张国焘分裂党的活动进行坚决斗争。1937年初，协助毛泽民到上海接收一笔国外捐款，事毕留沪。
七七事变后，担任八路军驻沪办事处（八办）秘书长。1938年以后，全面主持八办工作，与社会各界人士广交朋友，举办上层人士聚餐会，扩大抗日民族统一战线，并配合中共上海地下组织和各界救亡团体开展工作。把上海和国内外捐款、物资运往八路军根据地。通过文化界的秘密党员和进步朋友组织出版《译报》、《团结周报》、《西行漫记》、《长征画册》等进步书刊，配合中共江苏省委动员大量人力、物力、财力支援新四军。
1939年，回到延安。1940年5月去香港，任中央交通处驻港澳办事处处长。1941年12月，香港沦陷，参与紧急疏散转移数百名在港民主人士和文化界人士。1942年8月，调往重庆，任中共中央南方局交通处处长、组织部主任秘书、中共重庆工委委员。
1945年8月，任中共中央南方局情报部部长，保卫来重庆进行国共谈判的毛泽东的安全。1946年5月，任中共中央南京局上海工委副书记。1947年，任中共中央上海分局委员、上海局委员，负责党的情报工作，深入社会各阶层，广泛收集国民党军事、政治、经济等方面情报，及时送往中央和有关部门。通过各种渠道，进行统战、策反工作，创办党的经济机构，筹集经费。还领导中共在上海的中央地下档案库工作，使建党以来许多珍贵的党内文献完整地保存下来。1948年6月，任中共中央社会部副部长。1949年4月，随解放大军南下，协助中共上海局书记刘晓对上海地下党里应外合迎解放作了周密部署。
上海解放后，任中共上海市委委员、华东军政委员会委员、华东纺织工业部部长、华东纺织管理局局长。1952年3月，任中央军事革命委员会第四部副部长、代部长，1954年11月，任中共中央军委第二部部长。在此期间，参与制定并贯彻执行中共和军队情报工作的路线、方针、政策，加强干部队伍建设，健全组织机构和各项规章制度。1955年，被授予中将军衔，获一级八一勋章、二级独立自由勋章、一级解放勋章。是第三届全国人民代表大会代表，中国人民政治协商会议第五届全国委员会常务委员。
