守义专程征求孔祥熙意见。毕竟孔祥熙是国际奥委会委员，有投票权。孔祥熙闻之后并未表现出热情，可能政局的风云变幻让他无法对八年后的情势保持乐观。但作为国际奥委会委员，他还是表示原则支持，但要求体协与政府商定申办具体地点后再说。结果，政府并不热衷此事。中国最早提出申办奥运之议就此胎死腹中。
1948 年 7 月，第十四届奥运会在英国伦敦举行。中国代表团正式组团参赛，王正廷为总领队，董守义任总干事，郝更生为总教练，团员共有五十三人，分别参加足球、篮球、田径、游泳四个项目的比赛。结果，中国队没有取得任何名次。运动会要结束时，王正廷开始意识到问题的严重性，因为代表团所剩经费已不够回旅费。他不得不向国内求援。
教育部复电\"政府不能追加预算，请代表团自行解决\"，把王正廷逼到了窘境。王正廷只得利用自己的关系，请英国的朋友捐款，并将没有吃完的米卖给华侨饭馆凑款。同时，王正廷又与中国驻英大使交涉，通过大使馆作保，由英国的通济隆旅行社先垫付机票，王正廷则留在伦敦善后。
迫于无奈的王正廷只好又一次向孔祥熙求援。闻知中国代表团的窘迫境遇，又碍于王正廷的特殊关系，孔祥熙随即指令财政部有关方面给王正廷汇款三千美元。这才解决了中国代表团归国事宜。此次伦敦之行令王正廷心灰意冷。这一年冬天，在度过圣诞夜之后，他便离开了大陆，移居香港。
孔祥熙在国际奥委会委员任上，从未参加过任何相关体育会议。按《奥林匹克宪章》条款规定，一个委员两年不参加会议或其他活动就要作辞职论。但奇怪的是孔祥熙仿佛特殊委员，其名字每年还都在《奥林匹克公报》里出现。1955 年 8 月，孔祥熙宣布辞去国际奥委会委员，结束了他的这段特殊经历。
