赵从衍出生于江苏无锡市。父亲是个政府官员，但对儿子没有什么影响，赵氏也很少提及他。他毕业于上海东吴大学法学院，曾经当过一段时间的执业律师。到1940 年抗日战争最困难的时候，汪精卫在日本人支持下，成立了一个傀儡政府。赵从衍对汪氏行为心生厌恶，决心不干律师，永远抛下了他的法律书。他说：“要做执业律师，就必须注册登记。我不想卷入政治旋涡，因此决定改行做生意，战后船务蓬勃，我就购置了一艘大货船‘维多利亚之星’，兼营起船务生意来。”赵氏在成长道路上自成一格，对选择自己的事业和未来充满了信心。到1948 年，他已成家立业，并有四子一女，家财已有上千万元。这年冬天的一天，他让妻子和幼女乘上飞机到香港，他自己和儿子们则乘“维多利亚之星”号来到香港。
“维多利亚之星”号给他带来了好运。他放弃了家乡的一切，就剩下这一艘破旧的货船。比起香港太平山下已经发迹10 年的冯家、周家、高家、利家等亿万富翁，他顶多算个中产阶层。但是，他与包玉刚相比，则又幸运多了，因他毕竟拥有一条旧货船，而包氏则没有，是靠租来的一条旧货船起家的。
他就是靠了这只旧货船，后来又不断添购更多的船只。这些船一般都有25 年的历史，破旧不堪，经营需要维修。赵从衍聘请一些能够在海上修理船只的船员，经常维修这些船只以维持正常的行驶。到如今，他已拥有35 艘货船和油船，另外还有25 艘在兴建中或已准备交货。
赵从衍经营成功之道，一是善于处理好同雇员的关系。想当年，他买下的都是些旧船，如果不是靠那些有本领的船员随时维修，根本无法经营。他说，一艘船出了问题，租船人就不肯缴纳费用。但是只要那些能干的船员随时想办法，克服一切困难，就可以保证船只乘风破浪，安全航行，一切问题就迎刃而解了。他还说，一艘船每年要小检修一次，每4 年要大检修一次，但是船员们在船进入干船坞之前，小的毛病早已随时检修好了，所以一般只要几天时间就可完成检修，而别的公司要检修几个星期。他平常对工人们非常体恤，一到时候就主动给他们加工资，而且表现得很慷慨。所以他手下的工人与他合作得很好，从未参加什么工潮、工运活动。他公司的人总很和睦的另一个原因是，他很重视同乡情谊，同乡情谊维系着手下的人。
他经营成功之道，二是善于利用股票市场集资。1972 年—1973 年香港股市掀起狂潮，制造了一批亿万富翁。赵从衍的华光航业有限公司和华光地产有限公司就是在这个高潮中上市成为有公共投资的公司。他把从股市上吸收来的资金，用来偿还购入新船的债务，减轻了利息的负担。股票刚上市时，他只有八艘船，19 万吨载重量。仅仅3 年时间，虽然香港经济、航业景况不算好，但丝毫没有影响到他。“华光航业”的新船仍源源下水，1974 年夏天还合并了“新世纪航业”，使“华光航业”吨位激增，超过百万吨大关。到1975 年初，“华光航业”的船队已有29 艘大船，吨位增加4 倍多。到这年年底，一个会计年度就盈利7100 万元，令人为之侧目。他的船队由货船和油船组成，平均只有3 年船龄，有的是刚刚出厂的新船，那些旧船早已淘汰尽净。他的船队全部由日本公司长期租用。
他经营成功之道，其三是和其他有大资本的人一样，也在经营船务之外，兼营房地产生意。1975 年他投入房地产的总值有1 亿多元，早已兴建的也有1．5 亿多元。他兴建高级的洋房、多层写字楼、停车场，也兴建大众化的廉价楼宇。
现在，他已退居幕后，由他的3 个儿子去处理一切事务。赵从衍仍然担任华光船务投资有限公司、华光地产发展有限公司和位于官塘的一家面粉厂的董事长，还兼任十多家船务和地产公司的董事。这些他不过是挂挂名，实际事务全由他的几个儿子去办理。
退居二线以后，赵从衍喜爱上了古董收藏这一行。赵氏华光草堂的珍藏洋洋大观，各种珍贵的玉器、瓷器，名贵的字画充斥其间。其收藏特点以瓷器为主。赵从衍曾把所藏清中叶以来的一部分瓷器，借给香港中文大学开了一次展览会，仅从展出的这一小部分看，就可见其收藏之精，气派之大。
瓷器之外，赵氏还兼收玉器。字画收藏亦极可观。由于他不惜重金觅求，所藏字画每多精品，有为国家博物馆所不经见者。如果概括一下华光草堂的收藏特点，应该说，最有气派的是瓷器，最值钱的是玉器，最罕见的珍品是书画。说赵氏的寓所是一间规模不凡的美术馆或博物馆，这并非夸张，因为至少香港的博物馆无法望其项背。
赵从衍和妻子都有同嗜，他们共同分享收藏家的无穷乐趣，每与朋友高谈阔论，品评藏品之优劣，溯根究源，存真去伪，其趣无穷。他和他的妻子都笃嗜这些藏品，久而久之，学问大长，常邀学界人士到他寓所观赏玉器、瓷器、书画，互相探讨切磋，早已成为名符其实的鉴赏家、学问家了。
赵从衍说：“当你望着这些寥寥无几的1000 多年以前的珍品，你就会感到有无穷乐趣，世俗之气就会一扫而光。”赵氏华光草堂座落在马已仙峡道，屋内有两亩花园，一条溪流。每天，除了欣赏这些稀世珍宝，就是栽花植树。
他以这样的方式怡养天年，真可说赛过神仙。
