1904年，杨宇霆本来没资格报考秀才，杨宇霆硬是上下活动，涉险拿到了考试资格，然后考取了秀才。但正当他沉浸在考取功名的喜悦中时，清政府宣布废除科举，金榜题名的路算是没戏了。凭借刻苦，他先考取奉天陆军学校，后被选派进入日本陆军士官学校第八期。学习期间除了学业优秀外，他还经营起了广泛的人际关系，不但同期有不少好友，还和不少政要建立联系，连孙中山都与他有书信往来。
毕业后，杨宇霆投身奉军。1916年，张作霖成为奉天督军，杨宇霆担任了军参谋长。此后，杨宇霆更是大显身手，张作霖镇压和瓦解汤玉麟等势力，昔日的小保险队长一跃成了赫赫有名的东北王，这火箭般的成功，杨宇霆在幕后居功甚伟。
本来张作霖对海军基本无感，杨宇霆却深知其意义，他不但力荐名将出任东北海军司令，更是全力经营，扩充舰队、办学培养人才。这支海军一度占民国海军总吨位的四分之三。
当时东北的土地兼并已十分严重，地主从不交税贫农穷困潦倒，还常被苛捐杂税逼得上吊。杨宇霆快刀斩乱麻地直接颁布最严厉的土地制度：别管你们手里有多少土地，只要是还没开垦的荒地，一律吐出来，由政府统一分配给无地的农民。
整顿奉系旧军队、建立新型军事制度，杨宇霆大刀阔斧地改造，刷掉了大批旧军官，起用了很多接受过现代化军事教育的新人。奉军从上到下面貌焕然一新，基层军官才俊极多。
这几件大事办完，杨宇霆的威望在奉系中也彻底立起来了。在这期间，他也曾不断被人诟病。但张作霖对他的信任无以复加。
1928年6月4日凌晨5点30分，张作霖在皇姑屯车站遭日本人暗算身亡。杨宇霆的处境更为复杂。12月29日易帜，杨宇霆坚决反对，并在东北易帜当天拒不参加集体合影。他认为不应该服从蒋介石，因此与张学良酿成新的矛盾。对张学良他俨然以保护人的身份自居，经常以周公辅成王的典故自诩，规劝张学良戒毒，批评他不问政事。虽出好心，但年轻气盛的张学良却不买他的账。日本人也趁机利用正友本党和混迹东北的中国流氓，处处诽谤杨宇霆，离间张杨关系。他们送给张学良一本《日本外传》，将张学良比作日皇丰臣秀吉，将杨比作篡位的日相德川。暗示张学良，杨宇霆是他身边的隐患，要及早除掉。张学良中了奸计，但仍犹豫不决，三次掷银元问卜后，才下了杀杨的决心。
1929年1月10日晚，杨、常逼迫张学良成立东北铁路督办公署，要张学良在任命常荫槐为督办的便笺上签字。这一举动，促使张学良痛下决心，将杨、常处决于“老虎厅”。杨宇霆时年44岁。
后来民间这样传称：“炸烂吴（俊升）张（作霖），杨（宇霆）常（荫槐）而去。”
