卫青、霍去病打败匈奴以后，双方停战了几年。这时，匈奴已失去大规模进犯中原的实力，便表示想和汉朝和好，实际上还是想借机进犯中原。

公元前100年，匈奴觉察出汉朝又有出兵的迹象，便派使者到汉朝求和，还把汉朝的使者都放回来了。汉武帝为了答复匈奴的善意，派中郞将苏武持旌节，带着副手张胜和随员常惠出使匈奴。

苏武到了匈奴，送回汉朝以前扣留的匈奴使者，献上礼物。在等单于写个回信让他回去的时候，发生了一件意外的事儿。

原来，有个汉人使者叫卫律，在出使匈奴后投降了匈奴。单于特别器重他，封他为王。卫律一个部下叫虞常，对卫律很不满，他跟苏武的副手张胜是故友。虞常和张胜见了面就暗地里商量，想杀了卫律，再劫持单于的母亲，逃回中原去。由于虞常办事不够严密，泄露了计划，被单于抓起来，交给卫律去审问。

事情发生后，张胜害怕了，才把虞常跟他密谋的经过告诉了苏武。虞常因受不了卫律的酷刑把和张胜密谋的事说出来了。因为张胜是苏武的副使，单于命令卫律去叫苏武来受审。苏武对常惠等人说：“我们这次出使匈奴，是为了汉匈和好。如今我出庭去受审，使汉朝受到侮辱，我还有什么脸面回到汉朝去呢？”说着，拔出佩剑向自己身上砍去。卫律急忙把他抱住，可是苏武已经把自己砍成了重伤，晕了过去。

单于暗暗佩服苏武是个有骨气的人，希望苏武能够投降，像卫律一样为他效劳。于是每天派人来慰问苏武，劝他投降。

他们用尽了各种办法都没有让苏武投降。于是单于下令把苏武关在一个大地窖里，不给饭吃，不给水喝，候用饥饿来迫使苏武投降。但是意志坚强的苏武却毫不动摇。

匈奴单于实在拿他没办法，就只好命令把苏武送到北海边上（原苏联西伯利亚贝加尔湖一带）去牧羊。并对苏武说：“等公羊生了小羊，就送你回汉朝去！”

北海这个地方，终年白雪皑皑，荒无人烟，连鸟兽也很稀少。苏武饿了，就掘取野鼠洞里的草籽来充饥。过了不久，单于又派人来劝苏武投降，苏武依旧坚决地予以拒绝。每天，苏武一面牧羊，一面抚摸着出使时汉武帝亲手交给他的旌节。日子长了，旌节上的毛都脱落了，苏武还是紧紧地抱着那根光秃秃的旌节，艰苦地度过了漫长的岁月。

一直到了公元前85年，匈奴单于死了，匈奴发生了内乱，分成三个国家。这时候，汉武帝已经死了，他的儿子汉昭帝即位。当昭帝派使者到匈奴打听苏武的消息，匈奴谎称苏武死了，汉朝使者也就相信了。

后来，汉使者又去匈奴，苏武的随从常惠当时还在匈奴。他买通匈奴人，私下和汉使者见了面，把苏武在北海牧羊的情况告诉了使者。使者又惊又喜，他想出一个主意，见了单于，严厉地责备说：“匈奴既然有心同汉朝和好，就不应该欺骗汉朝。我们皇上在御花园里射下一只大雁，雁脚上栓着一条绸子，上面写着苏武还活着，而且在北海牧羊，你怎么说死了呢？”

单于听了，吓了一跳，还真以为苏武的忠义感动了飞鸟，连大雁都代他传达消息呢。便向使者边道歉边说：“苏武确实还活着，我们马上就放他回去。”

苏武到匈奴的时候才40岁，在匈奴遭受了19年的摧残折磨，胡须、头发全白了。回到长安的那天，长安的百姓都出来迎接他。他们看见白胡须、白头发的苏武，手里还拿着光秃秃的旌节，没有一个不受感动的，都说他真是个有气节的大丈夫。

