1914年，荣德生在无锡荣巷自己的住宅旁购地二亩八分，一部分用作建造竞化女校，另一部分用作建造图书馆。1915年图书馆开工，1916年图书馆建成开馆，取名为大公图书馆。这时入藏图书已达9万余卷。后来图书馆的藏书不断有所增加，到1920年，藏书已逾10万卷。1921年编制出版“藏书目录”时，藏书已有11万7千1百余卷。
荣德生与其兄长为办图书馆投入了巨额资金，据统计，两人为办公益中学和大公图书馆两项事业，投资共达一百万银元，并以茂新面粉厂下脚麦灰收入捐作常年经费。经费不足是民国年间公共图书馆与私人藏书家普遍存在的问题，而大公图书馆则不存在这个问题，可以想见荣德生在这方面的投入。大公图书馆成为当时无锡地区最具规模、最有影响、且管理也最完善的私人图书馆。
荣德生之子荣毅仁秉承父亲遗命，于1956年将荣德生于1916年创建的大公图书馆藏书连同书橱设备以及荣德生先生多年珍藏的珍贵古籍无偿捐赠给无锡市图书馆。无锡市图书馆特成立“荣氏文库”以纪念。