元封元年（公元前110年），五十六岁的司马谈在周南（洛阳）病死，汉朝太史令的职位暂时空缺。当年司马迁已三十六岁。他跟从武帝封禅泰山后，就依照古代的行孝制度，辞掉一切官职，回到茂陵县显武里，为父亲守丧三年。但在守丧期间，他仍然奉旨扈从巡游。
元封三年（公元前108年），三十八岁的司马迁守丧期满，又出来做官，继承他父亲的职位，为太史令。太史令是周代的太祝、太史、太卜三项官职合而为一的职位。所以，太史令的工作范围很广，既要掌握祭祀的礼仪，又要制订日常的世俗礼节；不但要奉事皇帝等在世之人，而且要奉祀鬼神；既记录人间的事（文史），也记录天上的事（星历），古代史官与历官是不分的。
太史令的职位和郎中不同的地方是：工作场所由内廷转到外廷，不能时刻接近武帝。但因太史令职掌天官，具有“文史星历”的专业知识，所以司马迁还必须随时备召为皇帝当顾问，并且跟从汉武帝封禅祭礼山川百神，仍可接近汉武帝。
司马迁做了太史令后，可以堂皇正大地在皇室图书馆里翻阅石室金匮之书，整理一切秘籍和历史资料，接续父亲已经开创的事业，从事撰述《史记》的伟大工作。
唐朝以后，史官才有编修史书的任务。汉代的史官在写作方面的工作只有两项：首先是掌管星历（记天事），其次是记人事，也就是记录皇帝、大臣和当代精英的言论，以及记录皇帝、大臣和当代精英的事迹，他们所记下来的皇帝、大臣和当代精英的言论和事迹，只需作为史料存档，不需要编撰成编年史或纪传体的史书。所以司马迁担任太史令，并没有编修国家史书的任务，他撰写的《史记》和孔子作的《春秋》一样，都属于私家著作。
但太史令这个职务，是司马迁完成《史记》不可或缺的条件。因为这时的太史令除宗教方面的职责以外，还负责保管官方典藏的文书和朝廷搜寻到的历代史料。又因为要负责记载当代时事，规定国家各级政府的政务报告在呈送宰相之前，要先送给太史令看，以为记录的依据。而这些东西都是写史所必需的材料，也是民间人士和一般官吏无法接触，只有担任太史令的官员才能看到的秘籍，所以说司马迁惟有担任太史令之职，才有办法或较有可能写成《史记》。
从元封三年（公元前108年）开始任太史令起，到太始四年（公元前93年）作《报任安书》，标志《史记》基本完稿为止，总共十六年时光。这是司马迁呕心沥血撰述《史记》的十六年。这十六年间，局势发生了重大变化，汉王朝由盛转衰，司马迁个人从制定太初历到遭受李陵之祸，人生旅途也发生了重大转折。
我国自古以农立国，因而很早就产生了天文学和历算学，很早就制定出比较适用的历法。春秋时历法已相当完整，已定出安排闰年的规则。战国时，各诸侯国有各自的历法，流行的历法有黄帝、颛顼、夏、殷、周、鲁六种，被称为“古六历”。这些历法都是以三百六十五又四分之一天为一回归年——即“四分历”，但岁首（即一年开始的月份）不同。秦始皇统一后，用颛顼历，以孟冬为岁首。汉朝初年沿用秦朝历法。颛顼历不够精密，沿用既久，便产生了历法和天象不相适应的情况，因而有改正的必要。司马迁身为太史令，天文、历法本是他职责之内的事，于是由司马迁、壶遂等建议开始了改历工作。当时还招募了民间历法家二十多人参加，其中包括著名的天文学家唐都、落下闳、邓平等。
元封七年（公元前104年）十月，司马迁经过夜以继日的努力，终于完成了一部新历。这一年的十一月朔日早晨是冬至，又正好是甲子日的开始，他就把这部新历命名为《历术甲子篇》。经过反复审查，他才把《历术甲子篇》交给太常赵弟。
出乎他的意料，参加改历的民间历法家邓平也同时编制了一部新历。邓平是以黄钟律长九寸，围长九分，以围乘长，得八十一寸，然后以八十一为分母，推算出一个月的日期是二十九日八十一分之四十三。因为这个缘故，他的历书称为《八十一分律历》。不仅如此，邓平还推算出，在甲子夜半朔日早晨冬至时，会出现日月合璧、五星连珠的天象。
太常赵弟很快将这两部新历奏报到朝廷，太中大夫公孙卿支持司马迁的《历术甲子篇》，他启奏武帝说：“十一月甲子日是朔日，早晨正好交冬至，太史令以这一天推原统纪，与黄帝成仙的情况相合，这一切都是泰一的安排。”
汉武帝十分慎重，对此事不轻易作决定。他安排大典星射姓等人对《历术甲子篇》进行复核，又安排黄门署长淳于陵渠等人对邓平的《八十一分律历》进行复核，然后他就到泰山去了。
武帝从泰山回来后，射姓等人向他奏报，无法根据观察的结果推算《历术甲子篇》的结论，而且《历术甲子篇》把元封七年定为甲寅年，与实际干支的顺序相差了二十二年。
与此同时，淳于陵渠禀报，经过复核，邓平的《八十一分律历》关于晦、朔、弦、望的制定非常严密，与实际情况完全吻合。在十一月甲子夜半到朔日早晨冬至时，的确出现了日月合璧、五星连珠的天象。当时报来的有十八家新历书，但事实表明，邓平的《八十一分律历》比其他各家都要精确。
尽管公孙卿仍然主张采用司马迁的《历术甲子篇》，汉武帝还是依据复核的结果，决定在邓平的《八十一分律历》的基础上，修订出新历。同时，又下诏把元封七年改为太初元年，新历自然也就称之为《太初历》。
就这样，御史大夫倪宽安排太中大夫公孙卿、中大夫壶遂、太常赵弟、太史令司马迁、治历邓平、大典星射姓、方士唐都、巴郡历法家落下闳等二十多人，聚集在太常寺，开始修订新历。唐都和落下闳也创制了一部历书，但其内容和邓平的历书大同小异，新历书是在邓平的《八十一分律历》的基础上，又吸收了唐都和落下闳的历书的长处，加以综合，修订出来的。至于其他各家的历书，包括司马迁的《历术甲子篇》，则全部废除。
原先沿用的《颛顼历》，一年以十月为岁首，九月是最后一个月。一年四季按冬、春、夏、秋的顺序安排。
《太初历》以一月为岁首，十二月是最后一个月，一年四季按春、夏、秋、冬的顺序安排。
《颛顼历》是一种古四分历，以三百六十五又四分之一日为回归年长度，二十九又九百五十分之四九九日为朔望月长度。
《太初历》以三百六十五又一千五百三十九分之三百六十五日为回归年长度，二十九又八十一分之四十三日为朔望月长度。
《太初历》还将二十四节气纳入历法，以没有中气的月份为闰月，十九年设置七个闰月。
由于邓平修订新历有功，朝廷便晋升他为太史丞。
修改历法是件大事，所以当时便将元封七年改为太初元年（公元前104年），除了改历之外，汉朝也正式宣布色尚黄、数用五、更官号、胁音律。所谓数用五，例如官印要用五个字，丞相印刻成“丞相之印章”。更官号，例如改郎中令为光禄勋、改大行令为大鸿胪。
司马迁的《历术甲子篇》被废除，对他来说是出仕以来，第一次重大挫折。他不明白其中的原因到底是什么，对邓平的《八十一分律历》被采用，邓平因此升官，他也感到不服气。
司马迁制定历法的理论基础是天圆地方说，即“天圆如张盖，地方如棋局”，又称盖天说。邓平却认为天好像鸡蛋，地好像鸡蛋里的蛋黄，孤独地待在天内，天大而地小。
用天圆地方说，许多天文现象无法解释，如：一、太阳东行，遵循黄道。昼夜都有一定之规，牵牛星距离北极星南端一百一十度，东井星距离北极星南端七十度，总共一百八十度。周长是直径的三倍，二十八宿周天应当为五百四十度，可实际上只有三百六十度，这是为什么？二、春分、秋分时，太阳在卯时（早晨五时至七时）的中间升起，在酉时（晚上五时至七时）的中间落山，而昼漏五十刻，如果是天盖转动，夜晚应当是白昼的一倍。可实际上夜间也是五十刻，这是为什么？三、人视物，近则大，远则小。可实际上观察北斗星，接近我们时显得小，远离我们时显得大，这是为什么？四、用盖天图观看天河，天河起于北斗而东入狼弧之间，应当弯曲如轮。可实际上看见的天河笔直如绳，这是为什么？
但运用邓平的历法知识，上述难题可以解释。
司马迁至死不承认邓平的历法比自己的先进，在《史记·历书》中，不仅没有收录《太初历》，没有记录《太初历》的修订的整个过程，反而固执己见，把已经废弃的《历术甲子篇》保留在这篇文字中。
