鲫鱼山、猴子岩位于柘林水库大坝南北两侧，没有修筑大坝之前，两山雄踞修河南北两岸。

传说一：相传唐末、宋初年间，庐山西海所在地属于海昏（县址在鄱阳湖吴城），而海昏人大都是山西黄土高原移民。海昏鼎盛时期，人民安居乐业。然而，龙宫妖龙存心不良，不让海昏人过上好日子，准备下七七四十九天暴雨，淹没海昏。海昏人即将遭灭顶之灾，天使得知此信，心急如焚，半夜时分找来天将商议，他们想出的办法是让鲫鱼山、猴子岩长过修河，两山合拢，抵御洪水，至鸡鸣时分不得再长，这就是民间传说的“猴子岩、长过来，鲫鱼婆，长过河”。神仙议事之时，一船停靠在猴子岩下，船夫吓出一身冷汗，若两山合拢，岂不性命难保，船夫急中生智，未到时辰便学鸡叫，两山尚未长到河心就停止了，船夫躲过一劫。而海昏却被洪水淹没，变成一片废墟。若干年后，重建海昏，一位修炼成正果的道长，途经柘林，在鲫鱼山、猴子崖停止了脚步，左观右看，说此处“日有千人朝拜，夜有万盏明灯”。

传说二：古代有一商人，从吴城去修水经商，船至猴子岩，夜泊于河心，半夜时分，商人被争吵声惊醒，披衣细听乃猴子岩与鲫鱼婆发生争吵打斗，看谁长得快。猴子岩说：“我猴子岩，马上长过来。”鲫鱼山亦不服气地说：“我鲫鱼婆，马上长过河。”说完，两山直向河中心靠拢。商人听到这儿，急忙叫醒船夫开船，但船还没开，两山即将靠拢。商人眼看性命难保，急得汗如雨下，正在万分危急之时，突然，一白胡子老头大声喝道：“你们都且慢，且慢，我是山神，未经禀报，尔等焉能擅自逞强，要想长过河，须待千年之后，再做打算。”猴子岩和鲫鱼山正长到相隔一百多米处被山神止住了。从此，这里成为修河河道最窄的地方。商人感谢山神搭救，在船头烧香拜谢。从此，凡经过猴子岩的船只，都要烧香、放爆竹，拜祭山神，相沿成习。