吕方潭州人氏，自幼习武拜父为师。平时喜爱吕布的武艺，也打造一方天画戟，人称他小温侯吕方。他是如何上的对影山落草，后又随宋江上了梁山?《水浒传》中不是有回书叫《石将军村店寄书，小李广深山射雁》吗?说吕方"贩药东，消折了本钱，不能还乡，权且占住对影山，打家劫舍"。真正上对影山，民间传说不是那么回事。是说他仗义除掉恶知府，逃离潭州，来到对影山落草。要讲此故事，得从头说起。
吕方的父亲叫吕振，也是武林中人。吕方从小跟父亲练功，又爱骑射，十八般兵器，样样皆精，尤其善使方天画戟，使得神出鬼没，出神人化，人人称奇，无不佩服。
潭州西有座潭花山，离吕方家三里之遥。山下有一潭花寺，寺里有潭花殿。相传这殿是为潭花圣母所建，故称潭花殿。院里宽阔幽静，青山绿水，环境幽美，是个习武练骑射的好去处。吕方常和一些武友在这里练武，评沦时局。他们对朝廷昏庸、荒淫无道、重用奸臣，指天划地地评论。愤愤不平;对黎民百姓的苦难，十分同情。尤其对潭州的恶知府鱼肉乡民百姓，更是愤慨。当时潭州一连三年大旱，颗粒无收，百姓衣食无着。皇上发下救灾粮款，全被知府私吞。不光不发灾粮，还一个劲派官兵向乡下催要粮款。今天加这个捐，明天加那个税。人们实在无法活了，饥民流落满街头。这个恶知府还亲自带领衙役向百姓抢要，天天抓人。穷苦百姓，上天无路，入地无门。炉臣肪祧撼燃驹蹴椭耙醚拥听一声声惨叫。他们几个勒马观瞧，只见被捆绑的饥民，被知府指挥手下打骂："你们这些赖民，为何抗税不交?"一老汉被一些恶衙役打死，其他饥民一个个躺倒，实在走不动了。吕方见此，催马赶到，见哭嚎的农民，用鞭一指恶知府："他们身犯何罪，你们为何如此狠毒?"
那恶知府一见是吕方，也在马上一指吕方："此事与你无关，少管闲事!"
吕方一时气恼："你这潭州狗官，在潭州已刮地三尺，发了横财，还这么狠毒，快快将他们放了!"
恶知府怒道："吕方，你想造反不成?"
吕方听此，一挥方天画戟："老子就造反，你又怎么样?"说着拍马闯进衙役队内，一戟向那恶知府刺去。恶知府躲开，鞭一指喊道："还不快快把这造反贼子吕方拿下!"一群衙役向吕方围来。吕方放下恶知府，方天画戟一扫，衙役有的被打断了腿，也有的头被砸烂了。其余衙役远远地围着，没有再敢向前的了。那恶知府见势不妙，催马加鞭就逃。吕方放下众衙役，一扬鞭追了过去。跑了不到半里远，被吕方追上，一戟扫落马下，那恶知府像球蛋一般滚出一丈开外。吕方赶将前去，一伸手把知府提了起来放在马背上，扭头来到被绑百姓面前："快快下令把百姓放了!"
知府尿了一裤裆，拉丁'一裤子，结结巴巴地说："你、你、你真的造反了，不怕灭门之罪吗?"
吕方听此，怒道："老子今日就反，先杀你这狗官。潭州大旱三年，救灾粮你不光不放，还再搜刮民财。你看百姓们面黄饥瘦，你继续喝民血加税，你不让老百姓活，先宰你狗官再说。"一戟下去，知府当即命绝。吕方挥戟向衙役们杀去，那些衙役全都被杀死。正在此时，吕方的父亲吕振跑来，指着吕方骂道："你还要不要家啊?"
吕方听父亲这么一说，再看看被杀死的知府和衙役，立时冷静下来："说什么也晚了，这种社会，不反何时能见天日，官逼民反，民不得不反!这些喝民血的官贼，在光天化日之下这样残害百姓。一老人被活活打死，你老遇上也会管的!"吕方的几个武友，一齐跑来对吕振说："大伯，你快想办法吧，知府已死，罪有应得;衙役连一个跑掉的也没有，杀得痛快，我们上山造反好了!"
吕振叹口气道："你们几个不识时务，造反时机还不成熟，就你们几个能成什么气候?我有一师兄济南府人氏，你们快快到济南找他。暂时躲躲再说，等待时机造反也不晚啊!我和你母也不能在潭州住了，也要立即逃到云南，到你师叔处落脚。"
吕方带几位武友，数天后逃到山东。路过对影山，有几个在此落草为寇的要断他们的道，被吕方方天画戟打落马下。那几位头领请他上山为寨主。就这样吕方在对影山占山为了王，后随宋江上了梁山。后人有诗赞道：
吕方仗义称刚强，为救饥民动刀枪;
杀死贪官恶知府，对影山上当大王。