唐朝开元四年，有个姓张的大官被贬到岳州(今岳阳市)来当太守。张太守到了岳州之后，愁眉紧皱，痛苦不堪。
有一天，他带着几个人出去巡视，顺便散散心，可是转了半天，也没找到个风景好的地方。
太阳落山的时候，太守带着随从转到西门外湖边上，看见前面有个圆形石台，上面建了个小亭阁，亭上挂着“阅兵台”匾额。原来这里是三国时期吴国大将鲁肃在洞庭湖操练水兵时修的。张太守登上阅兵台，远望无边无际的洞庭湖，顿时感到心胸开阔多了。一个随从对张太守说：“老爷，这里既可登高望远，又可观赏湖光山色，如果在高处筑座楼阁，那该多好呀!”
张太守听了，觉得有些道理，便打定主意，只等良辰吉日，动工建楼。第二天立即出榜，招聘名师巧匠，担任工程总管。
有一天，从潭州(今长沙市)来了一个青年木工，名叫李鲁班，自称擅长土木设计，无论什么亭阁楼台，宫殿庙宇，都能设计得尽善尽美。张太守便命他主管工程，限他一个月之内，画出一座三层、四角、五梯、六门、飞檐、斗拱、盔顶的楼阁图样来。
李鲁班成天躲在房子里，画了又画，算了又算，整整搞了七七四十九天，纸样画了一大堆，不是绘成一座土地庙，就是画成一个过路亭。累得满头大汗，还是没有一点结果。
张太守气极了，他对李鲁班说：“眼下工匠来了这么多，只等你的图了。真该死，你误了我的大事!再宽限你七天，到时候交不出来，绝不轻饶你!”
李鲁班吓得冷汗直冒，想来想去，也想不出什么好办法，一个人坐在湖边上哭起来了。木工、石匠见他哭得实在伤心，都跑去劝他说：“哎哟，你这个青年人哪，何必这样认真呢，不知道就不知道嘛，好好地在张大人面前认个错就是了。”
也有人说些风凉话：“既然取名鲁班，就一定有鲁班的本领，设计一个小小楼阁算得什么!”
李鲁班听了这些话，便诚恳地说：“各位师傅，我在乡下也做了六年手艺，茅屋瓦房盖过百十来栋，真没有想到画个楼阁图会有这么难呀。事到如今，只好请众乡亲帮帮忙，往后再重重地报答诸位。”
这时，有位白发老人站到人群前面来了。这位老人家，大家也不知道他叫什么名字，只知道两个月来，他每天都在工地上转来转去，问长问短，他对李鲁班说：“我看真鲁班也是从小苦学出来的，如果光躲在房子里画图，是难得画出个好楼阁来的。还是要和别的师傅多多商量才好。”“看样子，你一定也是个木工师傅了?”李鲁班恭恭敬敬地向老人说：“你老人家见多识广，请你费神帮帮我的忙好吗?”
老人说：“我没有画过图，只不过呢，我这里有些小玩意儿，你若喜欢，不妨拿去摆弄摆弄，或许会摆出一些名堂来的。”老人把背着的包袱打开，里面装的是一大堆长的、短的、圆的、方的，还编了号码的木柁柁，他随手往地上一摊说：“若是还差点什么的话，到连升客栈的楼上找我就是了。”说完之后，他头也不回地走了。
李鲁班抱起那堆木柁柁，蹲在工棚里苦思冥想，摆来弄去，竟连饭也忘记吃了。
有个年轻木匠见他这样入迷，抓起几个木柁柁往草堆里一丢，说：“哼，那个老汉疯疯癫癫的，说不定是个吹牛皮大王，你也真的相信他?”旁边几个老木匠连忙说：“年轻人还是谦虚一点的好，人家年纪那么大了，他过的桥，比你走的路还多呢?你凭什么说他吹牛皮?”老木匠们一个个坐下来和李鲁班一起按着木柁柁上面的号码，慢慢地摆弄起来。他们摆了又摆，突然，大家高兴地齐声喊叫起来：“快来看呀，一座顶漂亮的楼阁模样儿做好啦!”工匠们听见了，跑过来一看，果然是一座壮观的楼阁模型。不一会儿，整个工地的人都围过来了，人人夸赞不已。可是看来看去，还有个飞檐少了五个斗拱。
大家按号码仔细一查，不多不少缺了五个木柁柁。刚才那个丢木柁柁的青年木工，也跑来了，毫不在乎地说：“整整一座楼阁的模样儿都做出来了，差这几个木柁柁愁什么!等我来照样做几个补上去就是了。”
哪知道他做了一天一夜，木头砍了百多块，就是没有一个合适的。不是长了半分，就是短了半分。这时，他才想起被自己丢掉的那几个木柁柁，心中很觉得过意不去，只好对大家说：“实在对不起大家，只怪我太不懂事，那少了的斗拱，就是先前被我丢掉的那几个。”“丢在哪里?快带我们去找回来。”大伙齐声问道。“就在前面茅草堆里。”青年木匠领着大伙在那一片野草丛里找来寻去，好容易找出了四个，还有一个却怎么也找不出来，野草都扯光了，也不见木柁柁的影子。
这时，张太守听说楼阁模型造好了，急急地赶来一看，果然气派不凡。他高兴极了，连声称赞说：“如此壮观、雄伟，真可谓天下第一楼矣。”“启禀老爷，此楼模型还差一个飞檐斗拱。”“此楼模样出自何人之手?快快请来将斗拱补上。”“禀老爷，是个白发老人，不知姓名，只知他住在连升客栈。”张太守领着大家急急忙忙奔到连升客栈，要找白发老人。老板娘听说张太守亲自来找人，不知出了什么事，连忙慌慌张张跑出来说：“哎呀，这个老头子进店两个多月了，白天从不落屋，夜间就在楼上劈呀锯的闹到半夜。我还以为他帮人家做家具，谁知道他只给那些孩子们做些好玩的。”
“快快打开楼门，让我去看个究竟。”张太守那个急不可待的样子，把老板娘吓坏了，她连忙把楼门打开。让张太守查看。张太守上楼一看，没见老人的影子，只见床上摆着一张绘制得精致美观的楼阁图样，桌子上还有十几个木柁柁。老师傅们认真地翻了一阵，发现桌上正好有缺少的那个号码的木柁柁，连忙拿回去一摆，便构成一份完整无缺的楼阁模型了。张太守和大伙拍手大笑起来：“这才是真鲁班来了，一定要把他找到。”
可是谁也不知道他到什么地方去了，张太守连忙派人到岳州城内城外四处查访。头天没找到，第二天还是没影子，直到第三天清早，忽然有人前来报信，说有个白发老人在湖滩上用石头砌了一个拱洞，又在拱洞上面砌房子。张太守听了，领着几个人连忙赶到湖滩。可是那个白发老人又不见了，只见那石头砌成的拱洞上面，架起了一个非常美丽壮观的楼阁，张太守指着湖滩上的楼阁模型，赞叹道：“此人才智非凡!看来用拱洞做楼基可算别具一格。这真是得天之助也!”他抬头一看，只见一个白发者人，手握一把尺子，正在对面高坡上丈量土地，张太守连忙问众人：“前面可是……李鲁班高兴地叫喊起来：“正是他，正是那位老师傅呀!”
张太守赶上前去，一边行礼，一边说：“久仰师傅技艺超群，今日得见，真是三生有幸，敢问师傅莫不是姓鲁?”白发老头连连摇头说：“我姓卢，鲁班是我的师傅。”“令师今在何处?请求指点，下官有事求见。”白发者头指着前面许多木工、泥匠说：“你看他正在那里向老师傅们请教哩。”众人顺着他手指的方向看去，果然有个异样的老人，兴致勃勃地正在和工匠们谈论着什么。张太守领着大家赶过去一看，那些正忙着做事的木工泥匠，仿佛人人都像刚才看见的那个卢师傅，但又分不清哪个是真正的鲁班。待他们回头再去找那个姓卢的师傅时，只见地上留下一把尺子，上面清清楚楚刻了“鲁班尺”三个字。
张太守急忙登上当年鲁肃的阅兵台，面对八百里洞庭湖水高声呼喊着：“鲁班师傅——，请你再来哟——”湖面上，顿时远远近近响起了一片“来哟——来哟——”的回声。这时，西边天上，红霞万朵，仿佛有个白发老人，乘着一只白鹤，向水天尽头飞升而去。木工、泥匠师傅们按照那白发老人设计的式样终于造成了楼阁，并以西城门拱洞作为楼基。
人们把三层飞檐拱取名为“鲁班斗”。由于这个楼阁位于天岳山之阳，所以大家就称它为“岳阳楼”。