到淮阳郡，隐姓埋名，自称刘智远，招收徒弟讲学。这样过了几个月，心里闷闷不乐，写了一首五言诗《淮阳感怀》，诗写成后流下了行行泪水。有个觉得他行动异常的人，把这事报告了淮阳太守赵佗，赵佗派人在本郡及其周围各县搜捕他，李密又逃走了。

壮大瓦岗
　　大业十二年（616年），翟让在东郡（今河南滑县东）发动农民起义，因以韦城瓦岗寨（滑县南）为根据地，故称瓦岗军。李密投奔于翟让军中，有人知道李密是杨玄感的逃亡部将，私下怂恿翟让杀害他，翟让就把李密关押在军营之外。

　　李密通过王伯当用献谋略的办法靠拢翟让说：“如今皇帝昏庸，百姓怨恨，在辽东用光了精锐部队，和突厥断绝了友好关系，眼下正在巡视扬州、越州，撇下了洛阳长安，这也是像刘邦、项羽那样争夺天下的时机。凭您的雄才大略，精兵强将，夺取洛阳长安，消灭凶残势力，那么灭亡隋朝绰绰有余。”翟让听罢大为敬重仰慕，立即释放了他。派他去游说各小股义军，一说就来归降。

　　李密又向翟让建议说：“现在人马已经很多，但是没有地方弄到粮草，如果长久耽搁下去，就会人困马乏，大敌一到，要不了几天我们就会失败！不如直接夺取荥阳，休整部队筹积粮草，等到兵强马壮，然后去跟别人争夺天下。”翟让认为应当这样。从此攻克金堤关，攻打抢掠荥阳等县城镇，多数被攻克。

　　荥阳太守杨庆和通守张须陀带兵讨伐翟让，翟让曾被张须陀打败过，听说他来了，极为害怕，准备远远地躲避他。李密说：“张须陀骁勇但没有谋略，他的队伍又打了几次胜仗，既骄狂又狠毒，一仗就能捉住他。您只管摆开阵势等着，我来替您打败他。”翟让迫不得已，统领军队准备战斗，李密分出一千多名士卒埋伏在树林里。翟让开战不利，边打边退，李密派出伏兵到敌后袭击，张须陀兵众逃散，李密和翟让前后夹攻，大败张须陀，当场将他斩首。翟让从此以后让李密单独统率一支队伍。李密的队伍军容整齐严肃，凡是发出命令，即使是在夏天，士卒们都像是身裹霜雪一样冷峻地执行。他本人衣食节俭朴素，得到的金银财宝都分发给部下，因此人人都替他卖力。