1935年1月，聂荣臻出席了中共历史上具有重大转折意义的遵义会议。他在会上坚决支持毛泽东的正确意见，并与刘伯承一起建议红军北渡长江向四川发展，与红四方面军会合。他们的意见被中央采纳。
遵义会议后，聂荣臻在毛泽东领导下，与林彪率部四渡赤水，巧渡金沙江，摆脱了敌重兵的围追堵截。
1935年5月，聂荣臻任红军先遣队政治委员，与司令员刘伯承一起，率部通过大凉山彝族区，抢占安顺场，组织突击队强渡大渡河，接着率红1师、干部团沿大渡河东岸北上，击溃川军守敌一个旅，有力地策应了西岸红2师4团飞夺泸定桥的战斗。
6月中旬，他率红1师翻越夹金山，在懋功与红四方面军先头部队会师。下旬，在列席两河口中央政治局会议上，他拥护中央关于北上建立川陕甘革命根据地的方针，坚决反对张国焘的分裂活动。
8月下旬，聂荣臻率红1师、红军大学等部为先遣队，历经艰辛，越过大草地，9月上旬到达俄界，接应了中央及红3军等部队。9月中旬，他与左权指挥红4团攻占天险腊子口，并乘胜占领哈达铺，再次为红军打开了北上通道。在哈达铺，聂荣臻偶然从国民党《 山西日报 》上获悉陕北有一个根据地，并把这一天大的喜讯急告毛泽东。毛泽东决定挺进陕北。10月，聂荣臻与林彪率先遣队进入陕北苏区的吴起镇，从此结束了历时一年的长征。