东汉时期，陆绩卸任郁林太守，携家带口准备回家乡嘉兴。这天，陆绩与家人、船艄公一起，在郁林海边忙碌着，将一些书籍和衣物往船上搬。
船是当地极普遍的客货运输船。让艄公意外的是，这位刚卸任的郁林太守，除了几箱书和寥寥数件家用品，再无其他可载物，于是艄公对陆绩说：“大人，您这样的大官，就这点家当？帆船出海，吃水浅了，遇风浪会有倾覆的危险，得想办法增加一些重量压舱才行。”
陆绩闻言，说：“要不我去买两瓮咸菜，再添置些笋干、桂圆干之类的，带回去馈赠老家邻居？”
艄公为难道：“分量还是不够。”
陆绩有些无奈，他凝视着海滩，忽然有了主意：“岸上那块大石头是无主的吧？要不您找几个人，帮忙抬到船上？”
艄公看看陆绩，又看看那块石头，笑着说：“也只能这样了。”
于是，艄公找人把石头搬上了船。之后不久，陆绩的船便起航了。
过了一会儿，郁林岸边一艘搁浅的破船里突然有了动静，只见两个人从里面钻了出来，原来是一对海盗兄弟，丁大和丁二。他们俩在郁林横行作恶，遇上陆绩任太守后，却被处处打压，为了不被抓起来，两人只得东躲西藏，至今已是隐匿多年。
丁二沮丧地对丁大说：“大哥，那船上除了几个老旧的衣物箱和咸菜瓮，没见到哪里像藏着金银珠宝啊！这陆绩恐怕真就是穷官、呆官一个……”
丁大啐了一口道：“动动脑子好不好？哪一任郁林太守是空手走的？当官这么多年，他陆绩一点油水都没捞，鬼才信。”丁大转了转眼珠，又道：“说不定那块石头就是宝贝！”
丁二不解地说：“那石头好像是船家丢在海边的，这算哪门子宝贝？”
丁大想了想说：“他用了障眼法，这就是他的高明之处。宝贝一定藏在石头里，或者这石头本身就是玉石、玛瑙的坯石……想想看，做成这笔买卖，以后就有我们兄弟花的，也出出这些年被他打压的气！”他越想越覺得自己说得有道理，便吩咐丁二：“听好，去找一条与陆绩那船外形舱位相仿的船，我们在后面跟着，瞅机会动手。”
再说陆绩一行人。他们出发后，一连几天顺风顺水，到了海阳县境内。陆绩有个好友在海阳县衙当差，加上县里有部分来自郁林的商贾，感恩陆绩在任期间公正廉明，轻徭薄赋，众人便齐来迎接陆绩一家到城内休憩数日。
这让尾随而至的丁氏兄弟大喜不已。他们将船靠到陆绩的船边，与陆绩船上的艄公混熟之后，便在酒中下了蒙汗药，把艄公迷倒。随后，丁大和丁二偷偷上了陆绩的船，可他们翻遍所有行李，都没找到一样值钱的东西。恼怒之下，他们把艄公、行李和咸菜丢到自己原先那条船上，随后开着陆绩的船，带着那块大石头离开了。
等陆绩一家人回来，便看到船被换了，凌乱的衣物撒了一地，艄公则在一边愧疚不已，不停地道歉。陆绩哈哈一笑说：“您不必自责，也没丢什么东西。再说，也亏得他们找来那么多压舱的石头呢！我本还愁着到了家乡要多花银子，请人来搬那块大石头，这下好了，我自己就能把石头都搬下船了。”
此后的航行一切顺利。回到嘉兴半个月后，陆绩在河堤上散步，忽然发现一条很眼熟的船在下锚停靠。陆绩正疑惑，只见船上出来一人，在堤下看了陆绩好一会儿，忽然拱手喊道：“敢问上面是陆大人吗？”陆绩又定睛细看，这才认出是郁林某户人家的管事。
那管事上了堤，对陆绩说：“郁林百姓听闻盗贼劫换了大人返乡的船，自发围捕丁氏兄弟，竟真的把他们抓住了。大家想把大人的东西原样归还，只是那块石头被两个贼人凿了好几个洞孔，万幸现被我家老爷补上了。郁林众乡亲嘱咐我，务必将此石和您的其他行李送到您手上。”
陆绩闻言，万分感动，说：“陆某的行李不值钱，而且在郁林不过是尽了自己的本职，区区一块石头竟让你们这般劳神费力……陆某实在对不住郁林的父老乡亲啊！”
数年后陆绩病故，那块石头被家人保存在院中，压舱石之事早已名扬四方。明弘治九年，监察御史樊祉慕名前来，用手轻轻抚着石头，不巧竟蹭出一个小洞来。他大吃一惊，命人剔开洞孔查看，未承想，竟从洞中掏出一些颗粒状的散金碎银！
？樊祉大惊，连忙再命人找到其他几个孔洞，最后发现孔洞里都塞有大小不等的金银颗粒。有个洞里还有一张蜡封字条，上面写着：陆大人，您在郁林任上励精图治，勤廉爱民，我等有目共睹。这块自贼人手上夺回的压舱石头，更让我们对大人敬仰不已。现将错就错，于洞中填些散碎银两，备您不时之需，勿怪！郁林百姓。
看罢字条，樊祉感慨不已，下令将此石建亭保护起来，并题字“廉石”，为训诫百官之用。