会谈再次面临危机，英国前首相希思深感忧虑，他飞到北京，会见中国领导人，打算为打破谈判僵局贡献一点力量。9月10日，邓小平又一次会见了希思。两位老朋友亲切地寒暄了一番。当话题转到香港问题时，邓小平对英国政府在当时谈判中的做法极为不满。他斩钉截铁地宣布:想用主权来换治权是行不通的。“22日要会谈(指第4次会谈)，我希望不要再纠缠在治权问题上。不要搞成中国单方面发表声明收回香港，而是要中英联合发表声明。联合声明的方式对两家都好，不是说哪一家更好，特别是涉及到中英长期的关系。”
邓小平告诫说:“在香港问题上，我希望撒切尔首相和她的政府采取明智的态度，不要把路走绝了。如果英方不改变态度，中国就不得不在1984年9月单方面公布解决香港问题的方针政策。”希思表示将把这番话转告撒切尔夫人，并劝首相改变以主权换治权的做法。
迫于形势，英国政府在第4轮会谈后开始考虑采取措施稳定香港经济，并准备在谈判中实行退却。
英国外交大臣杰弗里.豪1984年4月中旬访华。豪在会见邓小平时提出，9月只能作为协议草签的期限，而不是最后批准生效的时间。邓小平问，草签以后为什么不马上正式签字？豪回答，议会九、十月份要休假，11月才能复会，所以只能到年底以前签字。双方于是确定9月底草签并公布协议，年底前正式签字。