卫律知道了苏武怎样都不可投降，并报给了单于。单于越想越气，决定给苏武来一次可怕的囚禁，直到他肯投降的时候，再把他给放了。
他们把他关在了地窖里，并不给他吃的，也不给他喝的，让他饿着肚子。当时在下雪，饥饿难忍的苏武为了填饱肚子，就躺在了地上吃着皑皑的白雪，忍受寒风刺骨，吃下的雪进去肚子后，就像调皮的小精灵，在苏武的肚子打打闹闹，让苏武忍无可忍，但他还饿着肚子呀！只能忍下去。
经过了十几天，他都没有死，匈奴人以为这很神奇，于是，对苏武说：“我把你放在北海，如果你能让这两只公羊生出一只小羊，你就可回国了！”于是，苏武便到了无人的地方——北海，同时把他身边的人安置到各处。
苏武来到了北海，因为粮食不足，只得把野果摘来了吃，他天天拉着公羊，让它吃着野草，到了晚上，他把公羊带在身边，日复一日，年复一年，最终系在符节上的耗牛尾巴上的毛全部脱尽。
