为了压制部队中日益不满的情绪和批评意见。他无视失败，却说：“南下是苏维埃运动终止退却，反攻敌人强有力的行动，在相当意义上说，南下半年达到了我们预定的目的。现在，需要的是我们每个同志要好好约束自己，任何一种暗中三五成群议论党的决议而发生破坏作用的现象，都要受到铁锤性的打击。”
张国焘的“铁锤”在不断上舞下翻地抛动，砸向许多他看上去不顺眼的人。
孤注一掷的张国焘始终没有那个勇气承认自己的错误，但广大指战员从比较中在内心里已经分辨出南下和北上的天壤之别。尽管许多基层指战员还弄不明白什么叫“路线斗争”，可这“南下”与“北上”行军路线结果的不同，则是最让人明白不过：路线斗争原来是这么至关重要。
红四方面军整编后，立即展开紧张的军事训练。根据将要北上的战斗任务要求，部队重点练习打骑兵、攻堡垒、夜间战斗和强渡江河等战术。并大力展开政治、文化教育和文化娱乐活动，专门设立领导部队体育文娱活动的组织——红场委员会，以鼓舞斗志。同时，积极做好迎接红2、红6军团的准备。
3月23日，朱德和张国焘电示红2、红6军团，要求他们与红四方面军会合北进：“我们建议在你们渡河技术有把握条件下及旧历三月水涨之前设法渡过金沙江”，“与我们会合大举北进”，“究应如何，请按实况决定，不可受拘束。”
中共湘鄂川黔省委和军委会接到朱德和张国焘这一关于要红2、红6军团北渡金沙江，去甘孜与红四方面军会师的指示后，决定放弃在南、北盘江间建立新根据地的计划，开始为实现会师而北上，准备强渡金沙江，北上甘孜。
为实现两支兄弟部队的会师，4月初，红四方面军制定了《4、5两月战斗准备工作计划》。接着，便在“迎接红2、红6军团准备北上，创造西北广大抗日根据地”的口号下，积极展开了整编、训练，筹集物资等各项工作。是月中旬，徐向前和陈昌浩派出红32军和红4军一部，由道孚南下，4月16日占领东俄洛，19日逼近雅江，守敌两个团逃窜。红32军占领雅江后在追击中歼敌一部，占领西俄洛，将康定之敌国民党军李抱冰部阻止于雅江以东，以确保红2、红6军团北进时翼侧的安全。20日，朱德、张国焘致电徐向前、王树声，对迎接红2、红6军团作了进一步的部署：“会合红2、红6军团为目前主要任务，必须确实阻止敌人的截断，相机消灭雅江李敌，并伸到稻城以及金沙江边去迎接红2、红6军团。”
红四方面军全军动员，积极准备迎接红2、红6军团。4月21日，徐向前发电指出：“与红2、红6军团会合主要目的是北上”。27日，朱德、张国焘致电徐向前：“红2、红6军团今明可全渡江，会合已无大障碍，全军雀跃。”“此后重心为北进及对康定和懋丹两方。”两军会师在即，红四方面军部队在进行作战和紧张训练的同时，积极筹集粮食、牛、羊、食盐等物资，人人动手，缝制帐篷，打草鞋，织毛衣，迎接兄弟部队的到来。
贺龙、任弼时等率领红2、红6军团于4月27日胜利渡过金沙江。朱德闻讯后，立刻领衔发去贺电：“金沙既渡，会合有期，捷报传来，全军欢跃；谨向横扫湘、滇、黔，万里转战的我红2、红6军团致以热烈的祝贺和革命的敬礼！”同时，电令已奉命去雅江的红四方面军第32军西出理化（今理塘），接应红2、红6军团。
为了搞好两个方面军会师后的关系，徐向前在一次干部会上，语重心长地对指挥员们说：“红军就像一家弟兄，红一、红二方面军好比是老大、老二，我们是老四。上次我们和老大哥的关系没有搞好，这次可要注意呀，和二哥只能搞好，不能搞坏。不然，人家就说老四太没有道理了。”
萎靡不振的张国焘也打起了自己的主意，他的计谋主要是想在红四方面军南下损兵折将的情况下，能把红2、红6军团抓到自己手中，以壮大“西南局”的力量。营帐下有人为其游戏代作《阳春白雪·南下有感》一首：南下君独断。战刚开，损兵折将，神威减半。一场春梦依稀散。妄想再战也难。具晚矣！冬日流汗，盛夏炎天心胆寒，悔不该，固执反毛观，怎收场？厚颜干。
可钻那空登彼岸。不为晚，灵机应变，愤无蛮干。啊救星二、六军团，争取他另眼看。到那时，雄机妙算，把他们都抓到手，有了权，愁你轻结伴。一起干，显强悍。
为了会同红2、红6军团一道北进，红四方面军在康北高原地区异常艰苦的环境中，坚持等待了整整4个月，这个代价是相当大的。全军几万人的吃粮成了大问题，根本无着落，基本上都是在靠野菜充饥。隆冬季节里，部队无法配发棉衣，有的战士仍穿着破烂的棕皮背心，有的穿着未经硝制的牛羊皮。部队迅速减员，1个军中的伤病员多达10＃＃多人。
红军的生存越来越困难，违反群众纪律的现象也越来越严重，高级指挥员对这种军民纠纷也习以为常。张国焘在其回忆录中也承认这一点，他说：“对藏民来说，红军只不过是一伙前来抢他们粮食的恶人。”甘孜有位活佛就曾对张国焘说：“红军贫困潦倒，他们搜集粮食和其它物品，比国民党的四川军阀刘文辉还凶。”
南下部队落到如此为生存而整日苦斗的地步，在这贫瘠之地也就很难再说发展。走上绝路的张国焘又怨谁呢？
红30军政委李先念在事后也回忆说：“我们没有打赢百丈关一仗，我们输了，不得不撤退。张国焘的南下计划根本行不通。我们只得往西走。当地人都是藏民。语言不通，很不方便。而我们到了那里，必须吃饭。于是，我们拉走了他们的牛羊。这样，我们和藏民的关系怎么能够搞好呢？”
5月间，红四方面军的处境越来越困难，数万人的吃饭成了总部每天都要考虑的重要问题，没有吃的，部队的巩固也渐渐困难。21日，张国焘召集会议，研究寻找新的根据地的战略问题。面对现实，他不得不承认自己原来的南下川康主张是行不通的，说：“红军如果长期停留川康区域内是不利的，更不能适应目前全国抗日反蒋的局势。川康是不能再呆下去了，粮食的缺乏使我们在这里的少数民族工作更加难做。这几个月，我反复思虑这个问题，我认为红四方面军的当务之急应该是夺取西北，创建西北根据地。”
朱德见张国焘终于说出了离开川康边的话，立即趁热打铁表示同意，说：“我同意张总政委的判断，这个地方我们实在是不能继续呆下去了。我们要北上，到陕北去与党中央会合，扩大西北根据地。”
在这里，朱德和张国焘的意见好像是一致的，但与会人员心中都明白，两人所说的“西北根据地”是有着不同含义的。张国焘的“到西北去”并不是与毛泽东的红军会合，他的计划是由西康直接北出青海，再到甘北和新疆。红四方面军在百丈关失利退入西康后不久，张国焘就派出余洪远和邵式平，先到甘孜查明德格到青海的道路，为继续退却作准备。
余洪远后来回忆这件事说：“当时，我一路调查，一路找喇嘛开座谈会，以后从甘孜一个铁棒喇嘛、绒坝岔的一个喇嘛、德格一个喇嘛那里了解到这条路要走48个马站，就是马要走48天，这中间都是小路，没人烟，没粮食。他们喇嘛走都是马驮上粮食，边走边采野果补充，才能走到。有些地段水都没有，马还得驮水。我把情况告诉邵式平，发电报给张国焘，说此路根本走不通。”
张国焘得此报告后，一个人躲在房子里连着几天都没有出门，他把川康西北与周边省区的地图一遍遍地审视，但他的目光从不愿在毛泽东所走过的路上停留，他力图避开与毛泽东相遇，仿佛中央红军所走过的从腊子口到陕北的那条道路如一条高压电线，碰上就要身亡似的。也就是说，张国焘意向中的往西北发展，目的地绝对不是陕北。因此，张国焘在最初选择由川康直接出青海的道路探明难通后，又选择了准备从甘南西进青海，再到甘北、新疆的道路。
草地龙虎/（陈宇）第二十七回炉霍撤销第二中央贺龙率兵会师甘孜
与红2、红6军团的会师已是指日可待，红四方面军加紧北上的准备工作。抓紧时间进行整编，尽最大可能减少指挥层次，把从机关精简下的人员充实到连队，以有效地提高战斗力。短短半个多月时间，红四方面军经过整编，部队面貌大大改观。同时，为顺利完成北上道路的侦察和对付敌军骑兵的袭击，红四方面军组建了红军历史上第一个骑兵师，由许世友任师长。骑兵师成立之日，在大草原上举行了威武雄壮的阅兵式。朱德在检阅时号召大家团结一致，英勇作战，为保障顺利北上与陕北主力红军会合做出努力。
北上准备工作中的一项重要任务是筹集粮食和赶制御寒装备。红军总部责成李先念、何长工、李天焕、曾日三等人组成粮食委员会，负责筹集、分配粮食和牛羊等食品。但由于当地物产非常贫乏，征集到的食品很有限，因此，红军总部决定严格控制部队在康北期间的消费，规定每个指战员的粮食每天只能分配3～5两，不足的部分以野菜代替。