在一个“后喻文化”的传统社会之中，祖先的典范对于后人的思想与行为起着非常大的作用，他们的生平经历往往通过口传而在后辈之中留下记忆。这种家族的“集体记忆”对于族人的“自我认同”、行为方式都有潜移默化的影响。

　　王阳明的六世祖性常先生少时喜与友人往来山水间，“时人莫测”，并与道士（赵缘督）“与语达旦”，终因“俗缘未断”而未从之出游。后出任广东参议因公在广东增城以忠死难。

　　性常子彦达负父尸而归，“痛父以忠死”，遂躬耕养母，粗衣恶食，终身不仕。

　　彦达子（与准先生）不改父道，终身事《易》之“遁世无闷”之诲，一度为避公门而逃入四明山石室之中，“不归者年余”，有司遣使寻之，与准闻讯深遁，竟致堕崖伤足，遂自号“遁石翁”。彦达、遁石父子两代“皆以德学为世隐儒”。272　　

　　与准先生之子即王阳明之曾祖槐里先生，言行一以古圣贤为法，自幼即有志于圣贤之学，并对门人说过“学者能见得曾点意思，将洒然无入而不自得，爵禄之无动于中，不足言也”273。

　　王阳明祖父竹轩先生，“性爱竹，所居轩外环植之，日啸咏其间”。“和乐之气蔼然可掬”，“雅善鼓琴，每风月晴朗，则焚香操弄数曲。弄罢，复歌以诗词，而使子弟和之。识者谓其胸次洒落，方之陶靖节、林和靖，无不及焉”274。

　　王阳明父亲海日先生，曾有客以神仙之术来说者，他谢绝说：“人所以乐生于天地之间，以内有父母、昆弟、妻子宗族之亲，外有君臣、朋友、姻戚之懿，从游聚乐，无相离也。今皆去此，而槁然独往于深山绝谷，此与死者何异?夫清心寡欲，以怡神定志，此圣贤之学所自有，吾但安乐委顺，听尽于天而已，奚以长生为乎?”275

　　由此可见，自六世祖以来，王阳明的家族之“乐”一直便在五伦的从游之乐与隐逸之乐之间游弋。这是王阳明的“乐”观产生的家学背景。我们不能忽视这种影响，王阳明“窃父而逃”的情绪让我们想起彦达负父尸而归的情景，王阳明的狂者胸次让我们想起槐里的操守，王阳明浩歌振林的举止让我们想起竹轩的雅兴，而王阳明对神仙之乐的态度与其家父更是何其相似乃尔。确实，“在一个尊重家世如中国传统的社会里，祖先的行为成就，往往对子孙志趣的启发和培养会有很大影响力”276。此实属无可争议者。