在绥宁镇守使的任上，张宗昌最大的收获就是“白俄兵团”的组建。资料记载，1922年冬，被苏联红军打得抱头鼠窜的白俄军队纷纷逃到我国境内，仅绥芬河一带就有万余人，而这正是张宗昌改变命运的契机。说起张宗昌与白俄军的渊源，还颇有传奇色彩。一天，张宗昌发现山沟里躺着一个俄国军官，饥寒交迫，好像快要死了。好在张宗昌懂俄语，一打听，才知道那人竟是白俄军队的一个炮兵司令，名叫葛斯特劳夫。张宗昌对俄国人的印象一直不错，便命人施以救治，十多天后，葛斯特劳夫恢复了健康。为了报答张宗昌的救命之恩，葛斯特劳夫透露俄境不远的山沟中，有一铁路支线，白俄军队遗有一列军火，还有大炮若干，但没有火车头了。如果张宗昌想要，他可以带路。
张宗昌赶忙要来一个火车头，将那列军火收入囊中。更令张宗昌欣喜若狂的是，跟随这列军火而来的，还有300多名白俄官兵，其中有原白俄步兵团长聂洽耶夫，高级军官有米乐夫、米海夫，还有原哥萨克骑兵旅长金钟仁(俄籍朝鲜人)等人。张宗昌敏锐地感到，这些人是宝贝，他们虽然是苏联红军的手下败将，但如果放在中国打那些土匪底子的军阀，其战斗力还是相当惊人的。此后，又有成百上千的白俄军人前来投靠。
我们知道，张宗昌并不是张作霖的嫡系。就此而言，张作霖对张宗昌的迅猛发展，是一则以喜，一则以忧。喜的是“匪乱”剿平，忧的是张宗昌势必坐大，难以驾驭。但张作霖本质仍然是个军阀，奉行的是马基雅维里主义。也就是说，只要你能帮我打胜仗，那你就应当帮我打更大的胜仗，至于这胜仗是怎么打的，你又发了多少财，干了多少昧良心的事儿，都可以算做“技术细节”，容当后议。应当说，张作霖对于张宗昌还是颇为赏识的。张宗昌喜欢赌博，张作霖便任他狂赌，其关爱之情可见一斑。但有一次，张宗昌到沈阳拜见张作霖，大大咧咧地往里走，边走边喊：“老爷子，我来……”话音未落，张作霖拍案而起：“出去，重进，妈拉个巴子的，你当在家里呢。”从这件小事上可见，张作霖虽然以粗人自居，但在与张宗昌的交往中，仍然要强调尊卑界限，有着非常明确的利益诉求。
事实上，张作霖并非没有意识到张宗昌可能带来的消极因素，但他急欲扩张之时，也就放任自流了。有资料称，张作霖确曾有过将张宗昌的部队解除武装的想法，只是后来张宗昌迅速做大，未能如愿，这就是古已有之的“投鼠忌器”。关于此节，有一则传闻可资佐证。说是有一次张学良和张宗昌打“沙蟹”(民国时流行的一种扑克赌博)，堪称民国时最大的赌局。张学良提出，如果你张宗昌输了，就交出兵权;张宗昌则提出，如果你张学良输了，就按花名册给我补半年的饷。结果，张宗昌侥幸胜出。张作霖闻知此事，深感遗憾，说：“小六子毛还嫩啊，假如一把牌释了张效坤的兵权，该让我省去多少烦心事。”此说可能不实，但也从一个侧面说明，张作霖对张宗昌一直心存忌惮。
张作霖但话说回来，张宗昌又的确是在张作霖的眼皮底下“起家”的，这可能就是当时军阀总要面临的“囚徒困境”吧——你必须“养虎”，因为你需要占领“山头”，而“养虎”又必然“遗患”。张作霖自然也需要养张宗昌这只虎，他也认为白俄兵团“可用”。直到1924年9月，苏联代表与张作霖签署《奉苏协议》后，仍继续谴责张作霖收编白俄匪军的行为。但张作霖则采取阳奉阴违的策略，为了“安抚”怒气冲冲的苏联人，耍起了外交手腕，即把白俄官兵“入籍”为中国人——那中国人在中国当兵，你们苏联就管不着了吧？为了广招白俄残军，张宗昌还在哈尔滨、天津两个口岸设立了“入籍军”招兵处。
据称，张宗昌以白俄“入籍军”成立了第65独立师，共约2000人。下辖铁甲队、独立工兵团、骑兵团、骑兵卫队及飞机队等组织。现有资料无不记载，白俄官兵军纪极差，奸淫掳掠，无恶不作。张作霖和张宗昌也只看重白俄兵的“作战勇猛”，而对其违纪违法之事很少追究，就是白俄兵真犯了重罪，也不过是送回原招募地而已，甚至还规定对白俄官兵概不判决死刑。张宗昌对白俄军最大的“优待”还在于，他从来不拖欠白俄官兵的军饷，而且最低发放相当于准尉的薪金待遇。
从另一方面来说，白俄军也确实没有让张宗昌失望，尤其是装甲车队，对张宗昌来说更是“战功卓著”。铁甲车队所用的战车是军用运输货车，能三面开火，速度特快，是张宗昌的“开路先锋”。整个白俄装甲车队在第二次直奉战争中，由天津沿津浦路一直打到长江北岸，为张宗昌在军阀混战中立下汗马功劳。
而按照参谋长王翰鸣的说法，张宗昌“本来和张作霖素昧平生，毫无瓜葛，被迫投到奉系，由一营宪兵，二百支旧式枪，到收留白俄军队而得到新式武器，张作霖这才不得不勉强把他当成自己人。因而张宗昌在奉系里，才算有了立脚点。”王翰鸣也不是张作霖的嫡系，而且与张作霖的关系更为疏远。他所称的“二百支旧式枪”，有“夸张”成分，据徐彻所著《张作霖传》记载，张作霖在派张宗昌剿平高士宾叛乱时，曾拨给张宗昌200余支别烈弹(一种打铅丸的枪)，这可能就是王翰鸣所说“二百支旧式枪”的由来。但实际上，张宗昌原来所带的一营宪兵，绝不可能没有武器补充。张作霖在派遣张宗昌之前，就曾说过“他花了我几十万”的话。但王翰鸣故意往更坏里说，也是可以理解的，因为王翰鸣既然跟了张宗昌，自然会感到受了冷落和压制。
1923年奉军秋季大演习时，张作霖仍有解散张宗昌所属部队的想法。因为张宗昌的军队成立较晚，匪性未除，甚至让张作霖这样的老土匪也看不惯。还有一点，按着王翰鸣的说法，张作霖尤其痛恨种大烟(此说纵然成立，也不能说明张作霖曾经加以整肃，因为张作霖需要军队，而那个年月，大烟是解决军费的最好途径)，因而总有一种如鲠在喉的感觉。再加上杨宇霆也反对张宗昌这一绺子人马，欲除之而后快。据王翰鸣回忆，张作霖曾对军事演习校阅委员张学良、李景林、郭松龄等人说：“每年花一百多万，养着这帮队伍种鸦片烟，那太不成话了。这次演习，要是看着他们不行，就把他们解决，遣散好了。”
正是这次演习，发生了流行颇广的郭松龄“操娘”事件。不难想见，心高气傲的郭松龄不会看得起张宗昌，又有张作霖的“通气”，因而对张宗昌的部队要求特别严格。当时，大雪深达数尺，演习时，士兵有的被冻伤，有的被高粱茬子扎伤，令张宗昌心里老大不痛快。休息时，张宗昌和王翰鸣在庄稼地旁的一处窝棚里避风。张宗昌蹲在炕上，掏出随身携带的烧酒，边喝边发牢骚：“他娘的，这是哪个龟孙的计划，弄得我们这样。”恰好郭松龄推门进来，厉声责问张宗昌：“你骂谁？”张宗昌解释说：“这是我的口头语。”郭松龄得理不让人，指着张宗昌的鼻子骂道：“我×你妈！这也是我的口头语！”
一时间，窝棚里的空气似乎凝固了，身旁的副官们心生寒气，以为会有一场“火并”，但接下来的情节更富戏剧性，只见张宗昌跳到地下，对郭松龄说：“郭二大爷，你×俺妈，你就是俺的亲爸爸，那还有啥说的？”郭松龄没吭声，扭头便走。
在这里，我们说张宗昌耍熊也好，说张宗昌能屈能伸也好，总该承认，张宗昌还是有容人之量的。但同时我们也看到，张宗昌其实也知道，他在奉军里的地位极其微妙，他惹不起郭松龄，因为郭松龄的后台是张学良，而张学良是大帅的亲儿子。鲜为人知的是，张宗昌还曾因此与郭松龄拜了把子。那是李景林(时任奉军第三梯队司令，后任直隶军务督办)撮合的结果。为此，李景林还特意找来张学良，张学良也加以劝解，据王翰鸣回忆，郭松龄还向张宗昌赔了礼。李景林又提议，咱们四人“义结金兰”，为后人留下一段“将将和”的佳话吧。但这种结拜，一言以蔽之：称兄道弟，心隔千里，你抽我筋，我剥你皮。
应当说，这次演习，张宗昌经受住了考验，张学良向张作霖报告时，将张宗昌的第三旅“学科战术成绩优良，士兵如何能够吃苦耐劳，夸大其词，形容了一番”(王翰鸣回忆)。与军纪和大烟相比，张作霖显然更为看重的是“打胜仗”。既然张宗昌已经练成了一支“很好的军队”，那就用来打更大的胜仗嘛。随即，张宗昌的部队由吉林第三旅，改编为奉天陆军第三旅，算是升了一格。第二次直奉战前，又编了一个炸弹团。
第二次直奉战争，张宗昌成了实力派
第二次直奉战争时，张宗昌取得了不俗的战绩。开战之前，张作霖命李景林第一师和张宗昌第三旅合编为第二军，李景林为军长，而张宗昌为副。但两人仍然各带各的队伍，各打各的仗。1924年10月，张宗昌率部直抵玉麟山，与“讨奉第一军副司令兼第三路司令”董政国对阵，两军相交，鏖战七昼夜，战至激烈处，连马弁和卫兵都上了前线，最后终于攻克玉麟山，又攻克“讨奉第一路军总司令”彭寿莘把守的冷口，逼近直军大本营滦州，成为第一支攻入关内的奉军。随后，张宗昌又直扑天津，打算活捉“常胜将军”吴佩孚，但未能如愿。此后，张宗昌急转兵锋，过卢台、越昌黎，一路追击由山海关溃退下来的直军散兵。他利用先破敌入关的优势，收编了六七万直系溃军，在马厂改编成四个步兵旅、三个特种兵团、两个先遣梯队、一个辎重大队。从此，张宗昌就成了令人刮目相看的北方实力派。
时人称张作霖有五虎上将，分别是姜登选、韩麟春、李景林、张宗昌、郭松龄，这五个人各有特点。时人评价说，韩麟春有智谋，而不拘小节;李景林多才艺，而好说大话;郭松龄机敏狡诈，城府颇深;姜登选豪爽轻财，和蔼可亲，能与士卒共甘苦，重义轻利;而张宗昌粗鲁放纵，无规矩准则。笔者以为，张宗昌能列名五虎上将，大概是从这个时候开始的。
张宗昌进驻滦州后，张学良也从山海关赶到滦州，见张宗昌收编了这么多队伍，大为惊骇，但也不得不说：“长腿(张宗昌身高腿长，故有此称)，你真行啊。”不过，张宗昌在奉军中，原本就处于边缘地位，他的急速扩张自然引得奉系将领的极大“关注”与“不安”。张学良的心里也不舒服，据王翰鸣回忆，张学良曾因此“在懊丧中与郭松龄大起争吵”。而春风得意的张宗昌也的确体验到了咸鱼翻身的快活，王翰鸣曾颇有感触地对张宗昌说：“我们寄人篱下，这回总算出头了。”
而张作霖面临的则是更深层的问题，那就是张宗昌既然有了几万“弟兄”，必须得给人家一个“地盘”了。打仗的时候，军队自然是越多越好。若是打了败仗，也自然可以躲进租界，撒手不管。可是，若打了胜仗，你就得“犒劳”自己的弟兄，“安顿”你手下败将的弟兄，最起码，也得给点路费和遣散费什么的。要不然，闹点兵变来，可不是闹着玩的。
张作霖想出的法子是让张宗昌“南下”，你有能耐，就接着去抢地盘，总不能领着几万大军再回绥芬河吧。于是，张宗昌升任第二军军长，率领所部人马继续进攻。不过，张宗昌此时的军队虽然号称十万，但准确数字却无从知晓，因为张宗昌素来不守规矩，按说收编敌方的溃散士兵，也应讲究一下“程序”的，最起码也得登记造册吧。但张宗昌奉行的却是“口头主义”和“来者不拒”的原则，连他自己也承认，不知道自己有多少兵。
在张宗昌从天津出发“南下”之前，王翰鸣还回忆了一个细节，说原来的江西督军陈光远正在天津经商，当年，就是这个陈光远把张宗昌缴了械，才弄得张宗昌像个丧家之犬的。于是，就有人跟张宗昌说，应该“收拾收拾”陈光远，让他把咱的枪都还咱，再要点利钱。张宗昌说，算了，我们又不是“绑票”的。还有就是李藻麟，曾任张宗昌的参谋长，后来投靠直系，冷口战役时，李藻麟是彭寿莘的参谋长，张宗昌也未念旧恶，将活捉来的李藻麟委为随军参谋长。王翰鸣由此称张宗昌“恢宏大量”，但笔者不以为然，因为，若说张宗昌小肚鸡肠，我们也完全可以找到证据——枪杀林白水就是明证。学雷锋时，我们知道了这样一句话：一个人，做一件两件好事并不难，难的是一辈子做好事。反过来说，一个人，若是想一辈专做坏事，恐怕也不容易。问题在于，你根本没有办法把所有的事情都做得更糟。我们发现，做好事时，可能会遇到阻碍;而做坏事时，你会遇到更大的阻碍，这种阻碍一方面来自于人性和道德，当然还有法律和公论。
张宗昌也是如此，他做过好事，我们从来也没有否认。但他让我们感到不安的恰恰是这种“反复无常”。德国人对苏军士兵有一个很经典的评价：“人们一定见过一个苏军士兵与德国孩子分享他最后一块面包，或者一个苏军卡车司机在公路上主动搭载一位老太太和她的散了架的手推车，并把她送回家的情景，但是，人们也一定见过，苏军士兵在公墓里暗中守候，准备袭击、抢劫、强奸从这里路过的悲伤的单身妇女或姑娘的情景”。而评价一个人的好坏，我们不能通过一两件事就下结论，比如说慈禧太后哭了，我们不能认为她悲天悯人;袁世凯因为“假《顺天时报》事件”而鞭打袁克定，也不能得出结论说袁世凯不想做皇帝。列宁曾经说过：“在社会现象方面，没有哪种方法比胡乱抽出一些个别事实和玩弄实例更普遍、更站不住脚的了。挑选任何例子是毫不费劲的，但这没有任何意义，或者有纯粹消极的意义……如果事实是零碎的和随意挑出来的，那么，它们就只能是一种儿戏，或者连儿戏都不如。”笔者在这里想说的是，当有些人想为张宗昌之流“翻案”之时，至少应当考虑考虑列宁的话，这没有坏处。要知道，历史人物的定论是很长的时间内，由众多个人观点综合而成的“公论”，不是轻易能翻得了的。
张作霖在思考，张宗昌在等
张宗昌奉命南下之时，直隶督办已为李景林攫取，而山东仍在郑士琦手里。郑士琦是安徽人，原为段祺瑞手下大将，后归顺直系，1923年，曹锟任命郑士琦为山东督办。第二次直奉战争后，直系败北，郑士琦的日子自然不好过，“下野”可能是他最体面的出路了。但张作霖却并没有直接去动郑士琦，他命张宗昌向江苏进军，准备拿下苏、浙、皖，待得胜班师之时，再取山东不迟。三十六计中有一个“假途灭虢”的计策，也可以用在这里。
要说张宗昌，也确实是员福将。当时徐州镇守使是陈调元，这就给了张宗昌又一个不劳而获的机会。当年张宗昌跟冯国璋“混世界”的时候，陈调元是宪兵司令，二人交情至厚。什么是哥们？一起同过窗，一起扛过枪，一起嫖过娼，一起分过赃。张、陈二人除了没有同窗之谊外，另外三样都占了。而且，我们也知道，张宗昌是好交好为好花钱的人，曾经出钱为陈调元买了一个上海名妓作姨太太。就像剿平高士傧一样，张宗昌从前所结的“善缘”又一次发挥作用。陈调元借口奉军难以抵挡，将自己的部队调往砀山和丰沛一带，演了一出民国版“三让徐州”的好戏。徐州易主，南京门户洞开，江苏督军齐燮元便没咒念了，赶紧溜之大吉。这样，张宗昌“轻取”江苏。
张宗昌的部队到达常州时，将所部人马分成两路，一路由自己带领，进驻上海;一路由参谋长王翰鸣和褚玉璞带领，开赴宜兴，准备进攻浙江。而如果拿下浙江，安徽也将难以独存。这时，是奉系最为兴盛的时候，但也正合了物极必反的定律，张作霖对张宗昌的担忧终于开始应验，张宗昌开始打自己的小算盘了。他命褚玉璞和王翰鸣在宜兴布置阵地，做出直扑杭州的架式，但却迟迟不下命令，进攻杭州的行动就这样搁置下来。
其实这不难理解，张宗昌是在等张作霖的一句话。苏、浙、皖三省拿下后，给我张宗昌分哪块？而这等“分配”，张作霖不会轻易说，张宗昌又不便轻易问，只得“苦等”。如果张作霖“大度”一点，把江苏交给张宗昌，又会如何？结论是不可想象，因为历史不能假设。但有一点，张作霖完全清楚，把张宗昌放在鞭长莫及的江苏，也就等于奉系的“分裂”，所以张作霖才迟迟不下决定。
而更加微妙的局势还在于，张宗昌在上海与五省联帅孙传芳觥筹交错，还换了兰谱，拜了弟兄。当时，王翰鸣曾三度请示戎机，张宗昌均未回复，甚至还把电报给孙传芳看，说：我的参谋长要打你。孙传芳说：那你告诉他一声，咱们化干戈为玉帛了。张宗昌说：不必了，让他“闷闷”吧。意思是说，一个参谋长，竟然想不明白事，打呀杀呀的，为谁辛苦为谁忙？
1925年3-4月间，张宗昌终于等来了他要等的消息：杨宇霆督苏，姜登选督皖，没他的事儿。于是，张宗昌将“自己的部队”撤回长江以北，集中在徐州、蚌埠一带。这个时候，羽翼已丰的张宗昌当然不会为杨宇霆“保驾护航”。后来，杨宇霆和姜登选“江南督军旅行”之所以草草收场，与此大有关系。
但是，张作霖虽然不放心张宗昌留在江南，但总得给张宗昌找块地方“容身”啊。这时，直隶已经给了李景林，那就把山东交给张宗昌吧。在张作霖的要求下，段祺瑞执政府发表张宗昌出任山东军务督办的指令。就像前面所说的那样，郑士琦体面下野。