1928年4、5月间，奉系主导的北洋军在华北战场上节节败退，作为奉系后台的日本感觉到这一次北京政府恐怕是过不了这个坎儿了，于是日趋积极的加紧干涉，前文介绍过的“济南惨案”就是一个例子。5月中旬，日本逼迫张作霖签订关于东北铁路修筑、运营权的五路协定，还计划收缴关内奉军枪械，逼令奉军回奉。5月18日，日本政府通告中国南北政府和欧美列强，说一旦动乱波及满蒙，日本将在该地区采取维持治安的有效措施，随即将屯驻于满洲的日军部队主力和济南、大连的日军调往奉天，并向山海关、锦州沿线派驻军警。但是，后来美国国务院表示了“东三省行政主权属于中国”的严正立场，使日本开始犹豫，决定保留张作霖的地位和力量，相机待变，这使早想吞并中国东北的日本关东军激进分子大为失望。

5月25日，张作霖答复日本，声明东三省和京津都是中国领土，不容日本像对济南那样随意出兵，这实际是拒绝了日本出兵东北“协防”北伐军出关的要求。5月29日，南京国民政府也答复日本，表明东三省治安和中外人士安全问题都是国民政府的责任，不能接受日本的出兵要求。6月1日，日本公使秘访张作霖，劝他接受日本的条件，否则对他不利，张作霖则大声说：“我姓张的不会卖国，也不怕死。”。

1928年6月3日凌晨，张作霖离开北京顺承王府私邸，驱车前往前门火车站，乘专车启程返回奉天。6月4日早晨5时30分，张作霖专列驶入沈阳皇姑屯，突然南满路和京奉路交叉路桥下一声巨响，列车被炸。当时的场面可谓是尸骸枕藉，惨不忍睹，重要文件均被毁灭，张作霖被炸成重伤，紧急送往沈阳的医院抢救，至当日上午10时，张作霖死去，消息被封锁，外界全然不知。这就是震动中外的“皇姑屯事件”。

根据日本投降后所解密的各种资料，皇姑屯事件乃日本关东军所策划并组织。当时，日本关东军主要将领都认为张作霖是日本控制东北的最大障碍，如果不除掉张作霖，则日本在东北的阻力将非常之大，所以他们才决心要对张作霖下手。对于在哪里下手的问题，关东军曾考虑过北京和京奉路巨流河路桥，但鉴于这两处耳目众多，戒备森严而最终决定在皇姑屯下手。

6月4日中午，身在北京的张学良得到了自己父亲去世的噩耗，紧急乘火车返回沈阳。当时，张学良虽然对事情的真相还不是很清楚，但已经在怀疑是日本人幕后策划；同时，张学良认为，日本人既然敢对张作霖下毒手，那自然也不会放过自己。于是，张学良化装成伙夫乘火车返沈，在经过南满路检查站时，步行绕过，再换乘汽车直驶沈阳，径入大帅府。这一期间，奉系方面要人封锁了张作霖的死讯，只发表公报说张大元帅重伤，还把张作霖尸体的头部用绷带包扎起来，仅露眼、鼻、口，躺在床上，照样摆了鸦片炉具和水果，日本人来探望时，则请其在卧室外遥望，使之信以为真。

天津方面，张宗昌、褚玉璞在得知张作霖被炸死的消息后甚为恐慌，急电阎锡山乞降，但阎锡山主张“容褚拒张”。此间，孙传芳、张宗昌、褚玉璞在天津召集会议，但各将领在和战问题上仍莫衷一是，直到最后三人为北伐军所迫离开天津（前文介绍过这段）。

张学良回到沈阳后，摹仿张作霖的笔迹签署了遗嘱，并据此就任奉军代理元帅，然后急调嫡系部队星夜返沈，电令各将领约束士兵，维持治安，顾全外交，同时还要求北京方面做好和平让渡北京的工作。接着，奉军高层将领及元老先后来到大帅府，表示了对张学良继承奉系的支持。6月19日，奉天方面宣布张作霖去世，由张学良继任奉天督办，停止军事行动。6月24日，东三省联合会通电推举奉系元老张作相为东三省保安总司令兼吉林司令，张学良为奉天司令，万福麟为黑龙江司令。但张作相坚持不肯就任，于是7月4日，东三省联合会改举张学良为东三省保安总司令，张学良于当日宣誓就职，开始主政东北，时年仅27岁，人称“少帅”。

张作霖虽出身绿林，没读过书，但却深知国家民族大义，他不肯作日本人的傀儡是他致死的最大原因。民初，日本人虽在北京向袁世凯敲诈成功，签订了“二十一条”，但到了东北现场，他们和张作霖纠缠多年，始终未能达成所愿。张作霖没有执行“二十一条”中关于“南满、东蒙古农工业的中日新约”部分，而是和日本人装傻充愣，采取各种措施限制、挫败日本图谋东北的计划。到最后因战事不利准备退出关外时，张作霖仍不肯屈服于日本军阀的威胁利诱，关东军也只好图穷匕见了。

关东军谋杀张作霖后，当时的日本首相田中义一最为失望。田中所进行的外交压迫已经见效，张作霖签署了五路协定，而奉军回师关外亦受到日方劝告，田中认为他分离满蒙的策略只要假以时日便必能实现。然而，皇姑屯事件彻底打乱了田中的部署，关东军炸死了张作霖，等于逼迫整个奉系反日，因此除了强占东北外，已无他路可走。为此，田中义一本打算将关东军首要分子及暗杀的策划人交付军法惩办，但参谋本部和陆军部的中级军官则坚决反对，认为关东军这么做也是为了日本，其本意实可嘉许，就算迫于形势，不能公开嘉奖他们，也该对其免予惩罚，给个行政处分就算了。此外，当时日本的执政党也怕事情闹大了给反对党以可乘之机，所以劝说田中义一含糊结案。

在经过了一年多的“调查”后，田中义一屈从于少壮军人的恐吓，以“张案经过周密调查，发现关东军并未牵涉在内”的含糊语句结案，并且呈报裕仁天皇。天皇对于田中在张案发生时的报告和一年后的报告完全相反（前者肯定关东军为主谋，认为应把肇事首犯交付军法审判，后者则说关东军没有牵连在内）大为震怒，佛袖离座，予首相极大的难堪，甚至在退席后余怒未息，告诉侍从说此后不愿再见田中。田中受到天皇这样大的斥责，大为羞愤，于是呈请辞职，几个月后抑郁而死。

关东军暗杀张作霖的举动虽然没有动摇日本分离满蒙的既定国策，但田中为分离满蒙所选定的代理人则因皇姑屯一炸而需要重新安排。当时，曾任张作霖顾问的日本陆军少将松井七夫主张扶植杨宇霆，日本驻奉天特务机关长主张拥立张学良，而关东军参谋长斋藤恒却看上张作相，刺张的主谋河本大作则拟定张景惠。东京方面对张作霖的继任人选虽没有特别的主张，但却有一个原则，那就是：任何人都可以，只要他能阻挡南京国民政府的势力伸入东北，使东北成为一个特区，为日本势力范围。事实上这一点非常困难，因为在张作霖被关东军炸死后，东北上下对日本的仇恨尤为强烈，他们不一定喜欢张作霖，但却对日本关东军用如此卑劣之法对付张作霖感到十分不满。

张学良执掌东北军政大权后，日本朝野各派纷纷以各种手段向其施压，阻止张学良投向南京国民政府，以破坏中国的统一，同时还想方设法攫取满蒙铁路权益。当时，日本曾向张学良表示，只要东北不与南京方面发生连系，则如果国民政府武力进攻东北，则日本愿出兵相助，同时愿意向东北提供经济援助；在国内，阎锡山、李烈钧等均通电或派专人劝告张学良以政治方法达成中国统一。张学良一方面受到日本的压力，一方面又以父仇不共戴天，亟望投向中央，只是迫于形势，始终不敢轻举妄动。

1928年6、7月间，全中国都心向统一，除山东济南和即墨两县因受日军干涉没有易帜以及东北尚未正式表示外，其它各省市均是一片青天白日旗飘扬，就连远在国外的各使领馆以及僻在西陲的新疆也不例外（1928年6月20日，新疆杨增新通电归顺南京政府）。面对如此形势，张少帅该何去何从？