天汉二年（前99年），汉武帝派贰师将军李广利带兵三万，攻打匈奴，打了个大败仗，几乎全军覆没，李广利逃了回来。李广的孙子李陵当时担任骑都尉，带着五千名步兵跟匈奴作战。单于亲自率领三万骑兵把李陵的步兵团团围困住。尽管李陵的箭法十分好，兵士也十分勇敢，五千步兵杀了五六千名匈奴骑兵.单于调拨更多的兵力，然而仍然无力与李陵相抗衡。就在单于准备退军之时，李陵手下有一名士兵叛变，将李陵内部军情告发。告诉单于李陵后面没救兵，而且教单于部下制作连发连射的弓箭。单于于是继续与李陵作战。最后李陵寡不敌众，只剩了四百多汉兵突围出来。李陵被匈奴逮住，投降了。
大臣们都谴责李陵不该贪生怕死，向匈奴投降。汉武帝问太史令司马迁，听听他的意见。
司马迁说：“李陵带去的步兵不满五千，他深入到敌人的腹地，打击了几万敌人。他虽然打了败仗，可是杀了这么多的敌人，也可以向天下人交代了。李陵不肯马上去死，准有他的主意。他一定还想将功赎罪来报答皇上。”
汉武帝听了，认为司马迁这样为李陵辩护，是有意贬低李广利（李广利是汉武帝宠妃的哥哥），勃然大怒，说：“你这样替投降敌人的人强辩，不是存心反对朝廷吗？”他就把司马迁下了监狱，交给廷尉审问。司马迁被关进监狱以后，案子落到了当时名声很臭的酷吏杜周手中，杜周严刑审讯司马迁，司马迁忍受了各种肉体和精神上的残酷折磨。面对酷吏，他始终不屈服，也不认罪。司马迁在狱中反复不停地问自己“这是我的罪吗?这是我的罪吗?我一个做臣子的，就不能发表点意见？”不久，有传闻说李陵曾带匈奴兵攻打汉朝。汉武帝信以为真，便草率地处死了李陵的母亲、妻子和儿子。司马迁也因此事被判了死刑。第二年汉武帝杀了李陵全家，处司马迁以宫刑。腐刑是个大辱，污及先人，见笑亲友。司马迁在狱中，又备受凌辱，“交手足，受木索，暴肌肤，受榜棰，幽于圜墙之中，当此之时，见狱吏则头抢地，视徒隶则心惕息。”（司马迁《报任安书》）几乎断送了性命。他本想一死，但想到自己多年搜集资料，说：“人固有一死，或重于泰山，或轻于鸿毛。”。要写部有关历史书的夙愿，因此为了完成《史记》的写作，忍辱负重，希望出现一线转机。
太始元年（前96年）汉武帝改元大赦天下。这时司马迁五十岁，出狱后当了中书令，在别人看来，也许是“尊宠任职”，但是，他还是专心致志写他的书。直到征和二年（前91年）全书完成，共得130篇，52万余言。