侯方域故居的主体建筑是壮悔堂，这是一座明三暗五、前出后包、上下两层的硬山式建筑，青砖为墙，垄瓦覆顶，廊柱上下贯通，看上去轩朗清雅而又含蕴持重。
这栋小楼是当年侯方域写作的地方，他的文集因楼而名，称为《壮悔堂文集》。为什么起这样一个名字？是什么让侯方域如此之“悔”？
侯方域曾经是豪放不羁，不知后悔为何物的。他才华天纵，少年成名，更兼出身名门，养成倜傥不羁、慷慨豪迈的个性。他曾任侠狂放，以至于好友黄宗羲都看不惯：朝宗(侯方域字朝宗)之父尚在狱中，他如此纵酒取乐，我们不规劝他，“是为损友”；他曾豪情满怀，与吴次尾、夏彝仲醉登金山，指评当世人物，一派雄视寰宇、舍我其谁的气概，“二子以方域比周瑜、王猛”……
坐在家乡这座小楼里的侯方域显然性情大变。明朝那如退潮般迅即的衰颓，大约带给他太多的无奈和痛楚，太多的打击和创伤。是这样的心路历程，让35岁的侯方域豪情尽敛，生活在难以自拔的悔恨、自责之中？
侯方域并没有明言他“悔”的是什么，他在《壮悔堂记》中只是说自己“积创积思，乃知余平生之可悔者多矣”。《壮悔堂文集》当时风行天下，于是不少人来探究侯方域在“悔”什么。
他的文友徐邻唐认为他是在“悔文辞未合法”：“乙酉秋，自江南归里，始悔从前古文辞之未合于法。”
另一位文友贾开宗则认为他“悔放意声伎”：“己卯举南省第三人，以策语触讳黜。辛卯举豫省第一人，有忌之者复斥不录。既不见用，乃放意声伎，已而悔之，发愤为诗歌古文。”
现在有的人认为他是为香君抑郁早亡而悔，如他在香君墓碑上刻的那句话：“卿含恨而死，夫惭愧终生。”
著名学者陈寅恪则认为，侯方域是因参加顺治八年科举考试而“悔”：“朝宗作《壮悔堂记》时，其年三十五岁，即顺治九年壬辰。前一年朝宗欲保全其父，勉应乡试，仅中副榜，实出于不得已。'壮悔堂'之命名，盖取义于此。”
比较之下，有人认为，对香君是“愧”不是“悔”，侯方域已写得明白，不过，对香君的“愧”，与众多的“悔”交集纠结，也未可知。但在他的一生中，最可悔的只有一件大事：应清朝乡试。此事在当时他不便明言，朋友也不能不为之掩饰。在他游历江南所写的大量诗文中，却隐约透露着他的自责和悔恨。
侯方域说“壮果能悔，其尚愈诸”，但定名壮悔堂不到两年，37岁的他就撒手人寰，匆匆而逝。
既然如此之“悔”，为什么还要参加清朝的科考？追究此问，只能令人浩叹人生之无奈。
侯方域应清朝乡试真相
“两朝应举侯公子，忍对桃花说李香。”这是一位清朝诗人对侯方域的嘲讽，这嘲讽其实源自侯方域自己的一段文字。
在《李姬传》中，侯方域记述与香君桃叶渡相别，香君言曰：“公子才名文藻，雅不减中郎(指蔡邕)，中郎学不补行，今《琵琶》所传词固妄，然尝昵董卓，不可掩也。公子豪迈不羁，又失意，此去相见未可期，愿终自爱，无忘妾所歌琵琶词也，妾亦不复歌矣！”
有人评价说，李香君此话，大有伯牙碎琴之志，意在要求情郎珍重名节。因此，侯方域应试被视为失节行为时，不少人觉得他“辜负了李香君”。一位研究者甚至在李香君故居摆放的丛书中，看到这样的记述：侯方域投靠了清廷。李香君因此愤而与之决绝，并削发为尼。这显然是拿小说戏剧家言当史实，不是侯方域，而是这些作者太不把名节当回事了。
投靠清廷之事，决然没有。南明灭亡后，侯方域返乡奉父家居，他哥哥侯方夏于顺治三年应试，成为满清第一科的进士，而侯方域则决心做明朝的遗民。后来得知吴伟业被逼出仕，他还大为着急，多次恳切地致书故人，力陈三不可、两不必，劝其坚塞双耳，不可乱了方寸，一失足成千古恨。吴伟业很感动，曾与侯方域相约不仕，但最后还是没有顶住压力，出任国子监祭酒。侯方域死后，吴伟业路过商丘，还写七律《怀古兼吊侯朝宗》表达对侯一片苦心的抱歉：“死生总负侯赢诺，欲滴椒浆泪满樽”，其自注云：“朝宗归德人，贻当约终隐不出；余为世所逼，有负夙诺，故及之。”
至于参加顺治八年清朝乡试，背景极为特殊，违背自己心愿，对于侯方域着实是一段痛苦的经历。王树林教授在《略论侯方域的文学历程》中论及此事：
“顺治八年，宋权(归德人)以国史院大学士致仕归里，时河南巡抚吴景道知方域'豪横'，又以布衣参加史可法军队的抗清。其父恂隐居南园后，降清的大臣和江南巡抚交章举荐侯恂，恂又坚谢不起。为此将案治方域并连及侯恂。宋权从中调解，语景道曰：'公知唐有李太白，宋有苏东坡乎？侯生，今之李、苏也。'这次方域虽然没有入狱，但当局要求他必须参加省试。方域在忠孝不能两全的逼迫下，为了保全父亲，参加了这年的省试。侯方域的这次省试，表面上看是向新朝屈服，实际是一次消极迂回的抗争，他以不把卷子做完的方法，拒绝了与清政府的合作。清政府准备只要侯方域参加考试，就给他个第一，结果竟然没有做完，这确实让当事者为难。放榜前，一些考官还是把他置于第一，由于一些人提出异议，才把他降为副车(副车，即副榜，是正式录取外的附加榜)。”
应该说，吴景道的招数是很厉害的，他掐到了侯方域的“软肋”。
侯恂虽然曾官至户部尚书，但生活在乱世，他的仕途历经坎坷，曾两次入狱达七年之久。明亡后，他矢志不仕，在归德城南10里筑“南园”，该园“绝去雕甍、朱槛一切繁华富丽之相，故茅屋亭亭如野人居、处士家”。为了避免被逼出仕，侯恂隐居于此，过着悠然自得的日子，他在《南园记》中写道：
“园内有草堂一，主人于焉肃宾；有草楼一，主人于焉拥书。草屋四，一为收贮图玩之处，一为佳客下榻之处，其二则主人夏日于焉纳凉，冬天于焉负暄。小台一，主人中秋于焉举杯邀月，九日于焉登高泛菊。斗室一，才可容膝，主人于焉抚琴南窗以寄作傲者也。河房一所，前临长溪，旁对假山，主人于焉垂钓，于焉放舟……”
60多岁的老父历经磨难，终有颐养天年之所，如果因自己逞心中快意，使他被逼违背心愿，甚至随自己再度入狱，试问侯方域于心何忍？
这种矛盾纠结很多人不能原谅，如梁启超就曾大加指责：“侯朝宗并无出家事，顺治八年，且应辛卯乡试，中副贡生，越三年而死，晚节无聊甚矣。”
但也有人代为辩解，如陈寅恪：“朝宗欲保全其父，勉应乡试，仅中副榜，实出于不得已。'壮悔堂'之命名，盖取义于此。后来竟有人赋'两朝应举侯公子，地下何颜见李香'之句讥之。殊不知建州入关，未中乡试、年方少壮之士子，苟不应科举，又不逃于方外，则为抗拒新政之表示，必难免于罪戾也。”
堂名“壮悔”文颂烈士
侯方域本来决意为大明王朝守节，却被迫参加清朝乡试，这或许跟他的性格有关。他有两篇关于衣服的文字，可以看出他的心态和性格。
其一是钱谦益“两朝领袖”的故事：“尝闻有先朝巨公(即钱谦益)游虎丘，其为衣，去领而阔袖。一士前揖，问：'何也？'巨公曰：'去领，今朝法服。阔袖者，吾习于先朝久，聊以为便耳！'士谬为改容曰：'公真可谓两朝领袖矣！'”这段文字，可见他不事两朝的观念。
其二则是写给方以智的一封信。信中说，过去方以智曾送给他一件衣服，他时常穿着。后来与方以智失去联系，因牵挂故人，每天早晚都穿着这件衣服，直穿得“色黯而丝驳”。清朝服制颁行后，因这件衣服与“今时不合，始不敢服，薰而置诸上座，饮食寝息，恒对之唏嘘”。他的妻子看他如此，对他说，“是衣也，子之所爱。吾为子稍一裁剪，而更之以就时制，即可服矣”。侯方域却急忙制止：“是衣也，密之所惠，不可更也。吾他日幸而得见吾密之，将出其完好如初者，以相示焉。”
这段文字，显示了侯方域内心的矛盾纠结，他牵挂故国故人，却注定不会成为一个刚烈的反抗者。当初桃叶渡相别，李香君伯牙碎琴般告诫，或许更是因为对他这种性格的洞察。
参加乡试后的第二年，侯方域建壮悔堂，将自己的古文结集为《壮悔堂文集》，这年九月，或许为了排遣心中郁闷，或许为了向故友表白自己应试的苦衷，他决定再次到江南游历，去拜访多年未见的生死之交陈贞慧和其他复社故友。
几年时间，天翻地覆，旧地重游，已物是人非，所看到的、听到的一切，均引发他无尽的“兴亡之感、故国之思、人生之叹”，这些复杂而苍凉的情感，在他的心中汇集、激荡……
前次江南之游，他与陈贞慧、方以智、冒辟疆并列为“四公子”，才华和抱负一时名动天下。而沧桑巨变之后，陈贞慧、方以智、冒辟疆三人遭际各不相同，但气节均可称道。
陈贞慧“埋身土室，不入城市者十余年。遗民故老时时向阳羡山中一问生死，流连痛饮，惊离吊往，闻者悲之”；冒辟疆也“隐居不出”，当时“督抚以监军荐，御史以人才荐，皆以亲老辞”；方以智则颇为悲壮，他因“推戴”桂王曾短暂为相，罢相后出家为僧。“行至平乐，被絷。其帅欲降之，左置官服，右白刃，惟所择，以智趋右，帅更加礼敬，始听为僧。”
三个人后来都坚守了自己的信念。陈贞慧于顺治十三年卒；冒辟疆在康熙年间，“复以山林隐逸及博学鸿词荐，亦不就”，遂终老于乡里。方以智于康熙十年(1671年)赴吉安拜文天祥墓，“道卒”。据余英时先生考证，方以智并不是平平淡淡地死去，他选择了“惶恐滩时说惶恐”的惶恐滩刚烈自尽。
侯方域游历江南之时，很多事情还没有发生，但故人的所作所为，已经令他颇为感愧。他的《倪云林十万图记》一文，是为陈贞慧所藏名画而作。倪云林是由元入明的画家，在明朝建立六年后所作画上，仍“款署至正(元朝年号)癸丑”，侯方域称赞陈贞慧“自乙酉金陵变后，绝迹不入城市，更命其二子弃去诸生，其亦云林不忘至正之意耶？”字里行间，令人不能不联想到他前一年应乡试的隐痛。
他的故友中，坚守气节的大有人在，如黄宗羲长期从事抗清活动，陈子龙、吴应箕、夏允彝等则在抗击清军中殉国。与陈贞慧一起作《留都访乱公揭》的吴应箕尤为壮烈，在宜兴时，陈贞慧对他细说吴应箕之死：“次尾(吴应箕字次尾)战败，危坐正冠，徐起拜故君，辞先人，引颈就刃，意气弥振。”古人往事，令陈、侯二人为之“痛哭失声”。后来，侯方域写了《祭吴次尾文》，沉痛地说：“呜呼！次尾读万卷书，识一字‘是’，明三百年，独养此士。”
这次江南之行，故友们对侯方域的态度并没改变，对他热情有加，并没有将他被迫应试视为失节。侯方域耳闻目睹，感慨良多，为老友乱后重逢欣喜，为死去的旧交悲悼，写出了一系列声情并茂的文字，其中满蕴新亭之泪，江山之恨，禾黍之悲，流露出了强烈的遗民情绪。《祭吴次尾文》、《阳羡燕集序》、《少师建极殿大学士兵部尚书开府都督淮扬诸军事史公可法》、《考功员外郎华亭夏公允彝》等诗文，透过低回呜咽的文字，讴歌了大义凛然、烈骨铮铮的明末英雄。
南游归来，侯方域在家举行祭礼，面南洒酒，向亡友谢罪。一年多后，年仅37岁的侯方域病故。他参加清朝乡试，虽出无奈，却也愧疚难解，但在他的诗文里，侯方域并没有为自己做任何辩解。
清朝建立后，侯方域回乡隐居，在此楼整理旧籍，编写新著。35岁时，他回想自己半生流离，无所作为，悔恨万千，遂将该楼改名为“壮悔堂”，其文集亦名《壮悔堂文集》。
