传说很久以前，邻村有个年轻的木匠。从这经过，相中了这棵大树，起了歹心。想把它偷回家，做些家具卖。一个晴天的晚上，木匠找来几个帮手，拉着木车拿着工具来偷树。木匠拿着大锯和另一个帮手就开始锯树，大约锯了二十多公分深时，突然天空乌云密布，一会下起了大雨。把木匠淋的就像只落汤鸡。没办法，他们只好约第二天晚上再来偷，然后愤愤的各自回家了。可回到家，发现他们村一点雨也没下。木匠心中一个劲埋怨老天刁难他，并发誓第二天下雹子也去。可第二天中午，木匠就莫名其妙的死了。头天和木匠一起偷树的那几个人，觉得不可理解，想起了昨晚的怪雨，于是他们结伴去看那棵白果树。这一看不得了了，昨晚的锯口都长好了，不细看都看不出来了。村里人都说是“白玉奶奶”显灵了，后来一传十、十传百，越传越神，后来谁也不敢动那棵树了。再后来文物部门也对这棵树做了重点保护，直到现在。