在书画、陶瓷、青铜器、玉器等各类中国古代文物中，玉器的收藏历史最为悠远、最为持久，几乎是伴随着玉器的产生而出现，并持续了玉器发展的全过程，直到今日。
严格意义上的玉器，产生于新石器时代。至今已有8000多年的历史了。新石器时代的玉器种类，主要有各种形制的佩戴在身上的装饰品、佩戴或执持以表征权力的瑞玉、祭祀祖先神灵的祭玉以及专门为殉葬而制作的葬玉等。这些玉器具有特殊的功能，象征着拥有者的身份、地位和财富，有的还具有深刻的宗教寓意，在意识形态领域占据重要的地位。因此，从新石器时代开始，玉器就有别于当时的石器、陶器等普通的生产和生活用品，倍受重视，被当作珍宝加以收藏。
在新石器时代晚期的红山文化和良渚文化大型墓葬中，都发现有随葬玉器。红山文化玉器形制多样，磨制精美，而且在墓中置放有序，如钩云形佩和筒形器主要置于尸骨的胸部或头部，环主要置于腕部，鸟形饰都有可穿缀的小孔，它们不是专为殉葬制作的，而应是墓主生前使用并收藏的瑞玉和装饰品。在浙江余杭反山良渚文化墓地的11座墓葬中，出土玉器1100余件(组)，单件计数达3200余件，其中部分可能是专为殉葬而制作的，但绝大多数是墓主生前使用和收藏的。为了让死者在地下过着与生前一样的生活，将其生前使用的玉器一同入葬，是当时人对玉器珍爱与收藏意识的体现。
夏商周时期，贵族阶层已注意收藏当时制作和使用的玉器，同时对前代流传下来的玉器更为珍视。红山文化是新石器时代晚期北方的制玉中心，其玉器流传的地域广，时间久。在相当于夏代的内蒙古敖汉旗大甸子夏家店下层文化遗址中，出土了多件红山文化玉器，如璧、钩云形器、钩形器、筒形器等，都是红山文化常见的器型，是墓主人生前收藏红山文化玉器的例证。
1976年发掘的安阳殷墟妇好墓出土了755件玉器，其中标本964号和标本1120号与内蒙古巴林右旗那斯台出土的钩形器制相同，标本948号与辽宁建平牛河梁第二地点9号墓出土的椭圆形带齿玉饰形制相同，均为红山文化遗物；标本350号玉凤与湖北天门石家河出土的团凤造型相似，琢纹工艺相同，应为石家河文化的遗物。
在北京琉璃河西周燕国墓地和河南三门峡西周虢国墓地中也出土了红山文化的玉器。在山西侯马曲村西周中晚期晋侯墓地中，也出土了很多商代玉器。这些都是墓主人生前收藏的古代玉器。
春秋战国至汉代，玉器生产在前代基础上不断发展，玉器收藏的规模也较商周时期有很大进展。这一阶段的玉器收藏者仍和以前一样，主要限于帝王贵族阶层。
1986年在江苏吴县发现了一个玉器窖藏，出土遗物包括玉器、彩石器和料器共402件，其中玉器204件，占出土遗物总数50.7%，其器型种类主要为璧、环、璜等礼器和虎形佩、鸟形佩、珠等各种形状的装饰品，除了时作玉器，其中6件可能是吴王夫差收藏的良渚文化玉器。
1976年在河北平山县战国中山国王及陪葬墓中，出土玉器800余件，其中除了战国风格的玉器，还有西周和春秋时期的玉器。一些玉器上有墨书文字“集玉”、“集它玉”，表明这些玉器是中山国王长期收藏的珍物。
1983年在广州象岗山发现了西汉南越王墓，墓中出土玉器达200多件。在西耳室西侧北墙根存放的一个漆盒里盛放有43件玉剑饰，包括剑首10件、格16件、X 9件、珌8件，根据它们在盒中的存放位置的玉质坟色，并参照形制、纹饰特点，可大体分辨出8套，余下11件不成套。每件剑饰表面都粘附朱砂和朱绢，估计随葬时是以朱绢逐件包裹后放入漆盒的。这披玉剑饰玉质雕工均属上乘，且其中仅有少数有使用痕迹，从其出土状况来看，毫无疑问是南越王的收藏品。
由于多种原因，三国两晋南北朝时期，玉器的生产和收藏曾一度处于低谷，隋唐时期逐渐复兴。在陕西唐永泰公主墓出土的10件玉器中，有7件是唐代玉佩的配件；另外3件中，1件为战国晚期至西汉的谷纹玉珩，1件为东汉时期的镂雕螭纹出廓璧残件，1件为魏晋时期的走兽游鱼佩。可见此期的玉器收藏仍是以时作玉为大宗，新旧并畜。
