张骞是汉中人，汉武帝建元年当过郎官。这时汉匈争战不断，汉朝败多胜少。汉武帝从匈奴的俘虏口中得知，匈奴曾打败了月氏国，并用月氏王的头骨，加工成酒器，月氏国非常愤恨匈奴单于，但打又打不过，只好把整个部落向西迁移。
汉武帝知道了这个情况，就想与大月氏国结盟，共同对付匈奴。汉武帝招募能够出使大月氏的使者。张骞以郎官身份应招出使月氏，和堂邑氏人甘父组成一百三十人的使团，从陇西出境。
要去月氏国，必须得经过匈奴的境内，在过境匈奴时，被匈奴巡逻兵抓获。移送给匈奴单于。匈奴单于留住了张骞使团，不允许汉使团北进。张骞以理拒争说：使团出使他国，经过临国土地，这是国家的惯例，而大王无端扣留他国使团，天下哪有这样的道理。
匈奴单于说：“我想派使团出使南越，汉朝皇帝能允许我去吗？”
匈奴单于扣留张骞十余年，给他娶了妻子，而且还有了孩子，希望用家来拖往张骞，但张骞一直保留着汉朝使者的符节，没有丢失。
张骞留居匈奴，并有了老婆孩子，匈奴人对张骞的看管日渐宽松，张骞因而得以同他的随从逃向月氏。张骞离开了妻儿，与随从向西跑了几十天，到达大宛国。
大宛国早就听说汉朝国家很富有，一直想与汉朝联系，但没有成功。如今见到了张骞，心中高兴，便向张骞问道：你想到哪里去？
张骞说：“我是汉朝使臣，要出使月氏国，却被匈奴扣留。现在好不容易逃出匈奴，希望大王派人护送我们去月氏。要真能到达月氏，我们返回汉朝，汉朝赠送给大王的财物，是无法用语言表达的。”
大宛国王认为张骞的话是真实的，就派了向导和翻译，随张骞到达康居国。康居国又把他转送到了，大月氏。
这时大月氏的国王已经被匈奴杀死了，又立了他的太子当国王。月氏国王在这里居住多年，已经征服比较强大的国家大夏。这个地方土地肥美富饶，很少有诸侯国敢侵犯月氏国。
张骞来月氏的本意是想与月氏国结盟，共同对付匈奴。但月氏国王心情安怡快乐，根本没有替父亲报仇的意思，认为汉朝距离月氐太远，结盟根本没有意义。张骞在月氏等了多日，也没有得到月氏国联汉攻打匈奴的明确态度诚。
张骞在月氏国住了一年多，也没有说服国王与汉结盟，共同对付匈奴。只好返回中原，他沿着南山前行，想通过羌人居住的地区回长安，又被匈奴捉到了，这次张骞在匈奴住了一年多，单于死了，匈奴左谷蠡王攻击太子，自立为单于，国内大乱，张骞乘机与胡人妻子和堂邑父一起逃回汉朝。汉武帝封张骞为中大夫，封堂邑父为奉使君。
张骞有力量且坚强，心胸广大，诚实守信，蛮夷之人都喜欢他。堂邑父是匈奴人，善于射箭，每当穷困之时，堂邑父射杀飞禽走兽当饭吃，才没有被饿死。张骞出使月氏时，随从有一百多人，离开了汉朝在西域辗转十三年，回到汉朝就只剩下张骞和堂邑父了。