关玉衡，原名瑞玑，字以行，1898年出生于吉林省宁安县（今属黑龙江）。他的父亲关福绵，是当时吉林省议员。
关玉衡少年时，性情豪爽刚直，17岁即抱定守土保边的决心，投笔从戎。1920年，被送入东北讲武堂学习，与张学良有同学之谊。毕业后，曾两次参加直奉战争。1925年秋，，郭松龄倒戈反奉失败被杀，关玉衡正在郭部任营长。由于张学良的进劝，张作霖又以关玉衡身经数十战从未负伤，认为是员“福将”，非但未有处罚，反而留在张作霖帅府任警备处长兼汽车队长。1926年末，关玉衡随张作霖入关，被任命为帅府驻京军务处长。以后，又调任东北炮兵军参谋处长。
1928年，关玉衡来兴这岭一带驻防。1931年6月25日，东北军在兴安岭兴安屯垦区佘公府四方台附近，查获中村震太郎等四名日本间谍。为维护国家主权和严守军事机密，身任兴安屯垦区公署军需处长兼第三团团长的关玉衡，当即将中村等四名日本间谍处死，形成历史上有名的“中村事件”。“中村事件”发生后，日本当局于9月13日，威逼东北当局逮捕关玉衡，并要将“中村事件”案有关原始村料全部调来。当时，有人劝关玉衡出国避难。关玉衡却说道：“我是关东男儿，死而何惧！”遂于9月16日来到沈阳对质。9月17日，日本驻沈阳总领事林久治郎与关玉衡面对面对质。关玉衡拿出中村等四名间谍活动的全部证件，使得林久治郎无话可答。次日，便发生了“九一八”事变。9月19日，沈阳失陷。9月20日拂晓，关玉衡化妆出逃。原欲折回兴安屯垦区率军抗日，但车已不通，只好入关。9月23日到北平，张学良委以参议一职。这时，日军正下令通缉关玉衡，他在沈阳的家属到处逃难，直到1932年春，在救国会等组织帮助下才与关玉衡劫后重逢。然而，关玉衡在宁安的弟弟活活被日军用钉子钉死，扔在牡丹江中，二妹夫惨死于监狱，老母双目失明。但是，关玉衡抗日爱国之心不减。化名国尔家，去上海参加抗日救国工作。
1932年6月，又改名郭尔佳回到东北开鲁地区，建立开鲁后援会和义勇军。“何梅协定”签字后，蒋介石下令停止义勇军活动，并解散察哈尔抗日同盟军，关玉衡也在古北口被缴械，使得关玉衡抗日爱国之志难以施展。后来，他携家去新疆，蒙冤下狱。直到1949年冬，关玉衡才回到阔别17年的哈尔滨，与在革命伍中成长起来的子女团聚。建国后，关玉衡不当选为黑龙江人大代表，省政协委员。1965年病逝，享年68岁。
周恩来曾称关玉衡为少有的“爱国民主人士”，他的家乡人民称关玉衡是个一身正义的“关东男儿”。
