张俊是陇西成纪（今甘肃天水）人，并非生长在富裕人家，虽然家境不是太好，但张俊很勤奋，而且有一定的天赋，从小就练得弓马娴熟，十六岁时以三阳弓箭手投身军队，在进攻西夏、防御金兵的战斗中立下不少战功，被授为武功大夫。靖康元年（1126），金兵合围榆次时，宋军主帅阵亡，张俊率领几百个人突围出来，且斩杀追兵五百多人，一时声名大振。徽、钦二帝被金人掳走以后，张俊看清形势，积极拥立赵构为皇帝，被升为御营前营统使，成为赵构的亲信。
张俊消灭了不少南方的武装割据势力，使南宋朝廷暂时有了立足之地。他顺应高宗的意思，说现在金人势力正强，应该南渡，待国家安定时，再大举恢复中原也不迟。后来，赵构定都临安，张俊更得宠信。
高宗在杭州稳定下来以后，把张俊留在身边，此时岳飞、韩世忠等人都率领部队连年在外征战，只有张俊的部队长期驻扎在京城一带。为了显示武力，张俊选择长得高大威猛的士兵，在他们的手臂一直到足踝上都刺上花纹，然后穿上短小的衣服，在京城招摇过市，吸引民众围观。百姓感叹岳飞等人在前线浴血奋战，而张俊却在后方玩弄这些花拳绣腿。
南宋君臣不顾前方军士正在攻城恢复失地，在都城里大兴土木。张俊让兵士为皇帝修建宫殿，同时为自己修造豪宅。同时，他还无偿役使军士修造了一座“太平酒楼”，用于自己享乐并赚钱营私。当时都城里盛传着一首歌谣说：“张家寨里没来由，使他花腿抬石头。二圣犹自救不得，行在盖起太平楼。”以至连皇帝都听到民间的非议，皇帝把张俊召到身边，苦口婆心地劝他说：“你现在可以修房造舍，但不要弄得这么大的动静，不要在民众面前太过招摇了。别人都说朕对你最好，所以你更要体会圣恩。”
