最初的想法并非伽利略，是受人启发才自制并改进的，但基于他的贡献，大家都认为他是发明者。
17世纪初的一天，荷兰密特尔堡镇一家眼镜店的主人科比斯赫，他为检查磨制出来的透镜质量，把一块凸透镜和一块凹镜排成一条线，通过透镜看过去， 发现远处的教堂的塔好象变大而且拉近了，于是在无意中发现了望远镜原理。1608年他为自己制作的望远镜申请专利，并遵从当局的要求，造了一个双筒望远镜。据说密特尔堡镇好几十个眼镜匠都声称发明了望远镜，不过一般都认为利比赫是望远镜的发明者。
望远镜发明的消息很快在欧洲各国流传开了，意大利科学家伽利略得知这个消息之后，就自制了一个。第一架望远镜只能把物体放大3倍。一个月之后，他制作的第二架望远镜可以放大8倍，第三架望远镜可以放大到20倍。1609年10月他作出了能放大30倍的望远镜。
伽里略用自制的望远镜观察夜空，第一次发现了月球表面高低不平，覆盖着山脉并有火山口的裂痕。此后又发现了木星的4个卫星、太阳的黑子运动，并作出了太阳在转动的结论。
几乎同时，德国的天文学家开普勒也开始研究望远镜，他在《屈光学》里提出了另一种天文望远镜，这种望远镜由两个凸透镜组成，与伽利略的望远镜不同，比伽利略望远镜视野宽阔。但开普勒没有制造他所介绍的望远镜。沙伊纳于1613年—1617年间首次制作出了这种望远镜，他还遵照开普勒的建议制造了有第三个凸透镜的望远镜，把二个凸透镜做的望远镜的倒像变成了正像。沙伊纳做了8台望远镜，一台一台地云观察太阳，无论哪一台都能看到相同形状的太阳黑子。因此，他打消了不少人认为 黑子可能是透镜上的尘埃引起的错觉，证明了黑子确实是观察到的真实存在。在观察太阳时沙伊纳装上特殊遮光玻璃，伽利略则没有加此保护装置，结果伤了眼睛，最后几乎失明。
荷兰的惠更斯为了提高望远镜的精度在1665年做了一台筒长近6米的望远镜，来探查土星的光环，后来又做了一台将近41米长的望远镜。
使用物镜和目镜的望远镜称为折射望远镜，即使加长镜筒，精密加工透镜，也不能消除色象差，1668年英国科学家反射式望远镜，斛决了色象差的问题。第一台反望远镜非常小，望远镜内的反射镜口径只有2.5厘米，但是已经能清楚地看到木星的卫星、金星的盈亏等。1672年牛顿做了一台更大的反射望远镜，送给了英国皇家学会，至今还俣存在皇家学会的图书馆里。
牛顿曾认为折色象差不可救药，后来，证明过分悲观。1733年英国人哈尔制成一台消色差折射望远镜。1758年伦敦的宝兰德也制成同样的望远镜，他采用了折光原则不同的玻璃分别制造凸透镜和凹透镜，把各自形成的有色边缘相互抵消。
但是要制造很大透镜不容易，目前世界上最大的一台折射式望远镜直径为102厘米，安装在雅弟斯天文台。
反射式望远镜存在天文观测中发展很快，1793年英国赫瑟尔制做了反射式望远镜，反射镜直径为130米，用铜锡合金制成，重达1吨。1845年英国的洛斯制造的反射望远镜，反射镜直径为1.82米。1913年在威尔逊山天文台反望远镜，直径为254米。1950年在帕洛玛山上安装了一台直径5.08米反射镜的反射式望远镜。1969年在苏联高加索北部的帕斯土霍夫山 上装设了直径为6米的反射镜，它是当时世界上最大的反射式望远镜，现在大型天文台大都使用反射式望远镜。
