武帝建元二年(前139年)，张骞奉命率领一百多人，从陇西(今甘肃临洮)出发。一个归顺的“胡人”、堂邑氏的家奴堂邑父，自愿充当张骞的向导和翻译。他们西行进入河西走廊。这一地区自月氏人西迁后，已完全为匈奴人所控制。正当张骞一行匆匆穿过河西走廊时，不幸碰上匈奴的骑兵队，全部被抓获。匈奴的右部诸王将立即把张骞等人押送到匈奴王庭(今内蒙古呼和浩特附近)，见当时的军臣单于(老上单于之子)。
军臣单于得知张骞欲出使月氏后，对张骞说：“月氏在吾北，汉何以得往？使吾欲使越，汉肯听我乎？”这就是说，站在匈奴人的立场，无论如何也不容许汉使通过匈奴人地区，去出使月氏。就像汉朝不会让匈奴使者穿过汉区，到南方的越国去一样。张骞一行被扣留和软禁起来。
匈奴单于为软化、拉拢张骞，打消其出使月氏的念头，进行了种种威逼利诱，还给张骞娶了匈奴的女子为妻，生了孩子。但均未达到目的。他“不辱君命”、“持汉节不失”。即始终没有忘记汉武帝所交给自己的神圣使命，没有动摇为汉朝通使月氏的意志和决心。张骞等人在匈奴一直留居了十年之久。
至元光六年(前129年)，敌人的监视渐渐有所松弛。一天，张骞趁匈奴人的不备，果断地离开妻儿，带领其随从，逃出了匈奴王庭。
这种逃亡是十分危险和艰难的。幸运的是，在匈奴的十年留居，使张骞等人详细了解了通往西域的道路，并学会了匈奴人的语言，他们穿上胡服，很难被匈奴人查获。因而他们较顺利地穿过了匈奴人的控制区。
但在留居匈奴期间，西域的形势已发生了变化。月氏的敌国乌孙，在匈奴支持和唆使下，西攻月氏。月氏人被迫又从伊犁河流域，继续西迁，进入咸海附近的妫水地区，征服大夏，在新的土地上另建家园。张骞大概了解到这一情况。他们经车师后没有向西北伊犁河流域进发，而是折向西南，进入焉耆，再溯塔里木河西行，过库车、疏勒等地，翻越葱岭，直达大宛(今苏联费尔干纳盆地)。路上经过了数十日的跋涉。
这是一次极为艰苦的行军。大戈壁滩上，飞沙走石，热浪滚滚；葱岭高如屋脊，冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺。加之匆匆出逃，物资准备又不足。张骞一行，风餐露宿，备尝艰辛。干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥。不少随从或因饥渴倒毙途中，或葬身黄沙、冰窟，献出了生命。
张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴。张骞的一席话，更使他动心。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居(今苏联乌兹别克和塔吉克境内)。康居王又遣人将他们送至大月氏。
不料，这时大月氏人，由于新的国土十分肥沃，物产串富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了。加之，他们又以为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但始终未能说服月氏人与汉朝联盟，夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城(今阿富汗的汗瓦齐拉巴德)。元朔元年(前128年)，动身返国。
归途中，张骞为避开匈奴控制区，改变了行军路线。计划通过青海羌人地区，以免匈奴人的阻留。于是重越葱岭后，他们不走来时沿塔里木盆地北部的“北道”，而改行沿塔里木盆地南部，循昆仑山北麓的“南道”。从莎车，经于阗(今和田)、鄯善(今若羌)，进入羌人地区。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。
元朔三年(前126年)初，军臣单于死了，其弟左谷蠡王自立为单于，进攻军臣单于的太子于单。于单失败逃汉。张骞便趁匈奴内乱之机，带着自己的匈奴族妻子和堂邑父，逃回长安。这是张骞第一次出使西域。从武帝建元二年(前139年)出发，至元朔三年(前126年)归汉，共历十三年。出发时是一百多人，回来时仅剩下张骞和堂邑父二人。所付出的代价是何等高昂!
张骞这次远征，仅就预定出使西域的任务而论，是没有完成。因为他未能达到同大月氏建立联盟，以夹攻匈奴的目的。如从其产生的实际影响和所起的历史作用而言，无疑是很大的成功。自春秋以来，戎狄杂居泾渭之北。至秦始皇北却戎狄，筑长城，以护中原，但其西界不过临洮，玉门之外的广阔的西域，尚为我国政治文化势力所未及。张骞第一次通使西域，使中国的影响直达葱岭东西。自此，不仅现今我国新疆一带同内地的联系日益加强，而且中国同中亚、西亚，以至南欧的直接交往也建立和密切起来。后人正是沿着张骞的足迹，走出了誉满全球的“丝绸之路”。张骞的“凿空”之功，是应充分肯定的。
张骞第一次出使西域，既是一次极为艰险的外交旅行，同时也是一次卓有成效的科学考察。张骞第一次对广阔的西域进行了实地的调查研究工作。他不仅亲自访问了位处新疆的各小国和中亚的大宛、康居、大月氏和大夏诸国，而且从这些地方又初步了解到乌孙(巴尔喀什湖以南和伊犁河流域)、奄蔡(里海、咸海以北)、安息(即波斯，今伊朗)、条支(又称大食，今伊拉克一带)、身毒(又名天竺，即印度)等国的许多情况。回长安后，张骞将其见闻，向汉武帝作了详细报告，对葱岭东西、中亚、西亚，以至安息、印度诸国的位置、特产、人口、城市、兵力等，都作了说明。这个报告的基本内容为司马迁在《史记大宛传》中保存下来。这是我国和世界上对于这些地区第一次最翔实可靠的记载。至今仍是世界上研究上述地区和国家的古地理和历史的最珍贵的资料。
汉武帝对张骞这次出使西域的成果，非常满意，特封张骞为太中大夫，授堂邑父为“奉使君”，以表彰他们的功绩。
