三方商定，从1946年5月初开始，先输送国民党控制区的日侨，由国民党东北行辕负责组织实施。凡散在东北的日本人，无论是侨民或是战俘，以全部遣送回日为原则。凡有重病未愈者，暂留锦西医院治疗，待最后一次轮船遣送。
共产党控制区的日侨，则由东北民主联军负责集中。从当年8月份开始，在陶赖昭、拉法两地移交国民党当局，再由葫芦岛港口输送。在安东(今丹东)的日侨由民主联军组织，经朝鲜陆路和鸭绿江海运输送。在大连地区的日侨则由苏联负责经大连港输送。
在遣返日侨过程中，当时的美国政府也做了不少工作。美军葫芦岛海军基地司令部，在极短时间内，把凡能集中的日本海轮都调到葫芦岛来接送日侨，同时把他们在太平洋的一小部分运输舰也调了过来，约有30余艘来往运输。每船平均能装运2千人左右，每日平均有7只船只运载出口。在整个过程中，美国为日侨遣返紧急调拨船只120余艘，不仅有日本的轮船，而且还从第六舰队调来大型运输舰，在葫芦岛港与日本佐世保、博多、舞鹤等港之间往返达800余航次。美军还负责上船后日侨的给养。
中国人善举感动日侨葫芦岛百万日侨大遣返是中国的人道主义善举，表现了中华民族善待邻邦、热爱和平的美德。
日本帝国主义发动的侵华战争是对中华民族的空前浩劫，数千万人死于日本侵略者的屠刀之下。但作为战胜国的中国人民没有以暴易暴，而是以中华民族的宽容和仁慈，向他们伸出援助之手，迅速安排日本侨民回国，这一点就连日本人编写的《满洲国史》也不得不予以承认:“战争后期，生活必需物资紧张，……中国人对日本人的反感情绪不断增长一事乃是事实。……但是，并没有因此发生对日本人进行民族报复的事情。倒是各地的中国人，同情日本人的悲惨处境，救济危难，庇护以安全，或者主动给以生活上的帮助的事例层出不穷。”
