宋徽宗宣和元年（1119年）十二月，他聚集36个人，在京东东路所管辖的黄河以北地区起义，专打社会上的不平，杀富济贫，反抗北宋王朝的残酷统治，引起统治者的恐慌。起义发生不久，宋徽宗赵佶便诏令京东东路、京东西路提刑督捕之。但由于宋朝军队久不征战，缺乏训练，战斗力极差；又由于宋江“其才过人”，属下的36个人都是强悍猛勇之士，个个英雄，所以，这次征剿不仅没有消灭宋江起义军，反而使其威名远扬。在此后的一年多时间里，宋江等人没有像《水浒传》等文艺作品所描绘的那样，入据八百里水泊梁山替天行道，而是“横行齐魏”，马不停蹄，千里转战于山东、河北一带。宋江率众攻打河朔（泛指今黄河下游南北一带）、京东东路（治青州，今山东省益都），转战于青、齐（今山东省济南）至濮州（今山东省鄄城北）间，攻陷十余郡城池，惩治贪官，杀富济贫，声势日盛。在数万官军的围追堵截中，起义军攻城陷地，机动灵活地打击敌人，虽然人数不多，但却似一把钢刀，令统治者闻风色变，“官军莫敢撄其锋”，成为一支很有影响的农民起义队伍。
　　宣和二年（1120年）十二月，宋江率部攻打京西、河北等地州县。宋徽宗赵佶闻知，采纳亳州知州侯蒙“赦过招降”的建策，颁旨招安，侯蒙旋卒，此事不了了之，宋徽宗遂命歙州知州曾孝蕴率军往讨。宋江避其锋，自青州率众南下沂州（今山东省临沂），与官军周旋年余。宣和三年初，转向南攻打沂州（今临沂），战斗打得十分艰苦，结果终因寡不敌众，被知州蒋园率兵击败。二月，起义军继续南下，攻打淮阳军（今江苏邳县西南），接着，占据楚州（今江苏淮安），进入海州（今江苏连云港西南）境内。在这些激烈的战斗中，宋江充分发挥了他的聪明才智和军事才能，指挥若定，谋略过人，战术灵活多变；同时，正如后来元代陈泰在《所安遗集·江南曲序》中所说的那样：“宋之为人，勇悍狂侠”。宋江作战也很勇敢，身先士卒，带头冲杀，打出了威风，令一些朝廷官吏也不得不承认其有勇有谋。就在同一月里，浙江农民起义首领方腊，也率义军连破处州、秀州（均属浙江），其攻势凌厉，使北宋王朝十分惊恐。为了瓦解、镇压这两股农民起义军，亳州知州侯蒙向宋徽宗上书，道：“宋江以三十六人，横行河朔、京东、官军数万，没有敢抵抗的，说明他必有超过常人的才能。不如赦过招降，让他率兵讨方腊以赎过，或许还能平定东南之乱。”宋徽宗对这个主意十分赞赏，立即下诏给刚刚以徽猷阁待制出任海州知州的张叔夜，令其设法招降宋江。