1844年11月，囊空如洗的冯云山进入紫荆山的古林社。他“举目无亲，典借无路”，全凭着自己的意志、毅力和未来宏愿孤鼓舞，去开拓艰苦的革命事业。他放下架子，脱掉长衫，替人担泥挑土，割禾打谷或靠拾粪卖钱度日。在做苦工的日子里，他曾吟诗道：“孤寒到此把身藏，举目无亲也着忙，拾粪生涯来度日，他年得志姓名扬”。不管 生活多么艰苦，他的革命志向从不动摇。后来，他的雇主曾槐英发现人他是一个有才学的人，就推荐他到紫荆山大冲曾玉珍家教书。在他作塾师时曾在书房门口贴了一副对联：“暂借荆山栖彩凤，聊将紫水活蛟龙。”他把自己比作“彩凤”、“蛟龙”，栖荆山，游紫水，借塾师的职业为掩护，热心传教，拯救世人。他劝人“勿事偶像，独拜真神上帝，信仰耶稣，藉得天堂永久快乐。”许多农民纷纷皈依新教，甚至有全家全族来领受洗礼的。在冯云山“历尽艰辛，坚耐到底”的非凡努力下，到1847年上半年，紫荆山区的信徒已发展到二千多人，建立了“拜上帝教”组织。杨秀清、萧朝贵、秦日纲等先后入会，成为拜上帝教早期的领导核心。紫荆山区成了革命的摇篮。
　　冯云山是卓越的农民革命的宣传者和组织者，他那种坚忍不拔的可贵精神，后来在《天情道理书》中被称赞为“历山河之险阻，尝风雨之艰难，去国离乡，抛妻弃子，数年之间，仆仆风尘，几经劳瘁”。他为革命大业的奠基工作，做出了巨大贡献。

被捕入狱
　　1847年8月，洪秀全带着《原道醒世训》等新作，来到了紫荆山。由于几年来冯云山在传教中，号召会众共尊教主洪秀全，所以，洪秀全那端庄威武的容貌，疾恶如仇的性格，以及“斩邪留正”、“共享太平”的主张，会众早有所闻，因此，对洪秀全愈加敬重，“称为洪先生，奉之若神”。洪秀全和冯云山，根据革命形势的发展，共同制定了各种仪式和《十款天条》。同时，又积极宣传《原道醒世训》等文献的革命道理，并领导群众开展实际斗争。他们横扫了当地所有的神坛庙宇和各种偶像。其中最著名的是捣毁象州甘王庙。这些斗争大大振奋了会众的革命热情。但是，却遭到了当地封建势力的镇压。1847年12月，紫荆山石人村的恶霸地主和团练头子王作新纠集一帮打手逮捕了冯云山，责令保正押送桂平县，在途中被会众卢六等夺回。王作新恼羞成怒，跑到县衙控告冯云山“迷惑乡民，结盟聚会”，“不从清朝法律”，“践踏社稷神明”。要求“严拿正办，俾神明泄愤，士民安居”。桂平知县看到当时社会动荡不安，怕引火烧身，不敢究理。王作新不肯罢休，于1848年元月，再次逮捕了冯云山、卢六二人，以“阳为拜会，阴图谋叛”的罪名，经大湟江巡检司送桂平县狱。