到了司马睿（317——322在位）在建业开创了偏安的东晋王朝时，传播佛教的名僧和谈论佛经的名士越来越多。皇室贵族竟相建寺，居然成了时尚，以致东晋各代皇帝无不信佛。孝武帝太元三年（378年）名僧慧远带着弟子数千人南下，定居在庐山，弘扬佛教。广泛介绍佛教经典和外来思想，甚至不惜“失本（佛教的本来经意），把佛教纳入民间习俗。”于是，佛教与我国的传统文化并入一个轨道，他还大力提倡“神不灭”论，奠定了佛教“三世因果”学说的基础。
佛教在支谦、康僧会以及慧远等先驱的努力下，以建业为中心的南传佛教，迅速地向周边地区拓展开来。寺庙也随即四处建立。
安徽民间建造的最早寺庙，是现在当涂境内的“广济寺”。它在康僧会来江南之前，即赤乌二年，公元239年就建造起来了，甚至比建初寺还早，被安徽佛教称做“祖庭”。其次是康僧会在当涂的道场，叫做化城寺。
我国的南北朝时期，江南属于南朝，佛教得到了长足的发展。东晋的时候（317——420年），江南已经有了一千六百七十八所寺院，僧尼人等两万四千多。到了南北朝的梁朝（503——557年）时，二百四十年间，寺庙就增加到了二千八百四十六所，增加了一点七倍；僧尼增加到八万二千七百多人，竟增加了三倍半。唐朝杜牧“南朝四百八十寺，多少楼台烟雨中”的诗句，说的只是个概数，或者只是指的建业城里的寺庙。
就在佛教像雨后春笋般拔地而起，僧尼人数以几何级速度增加的时候，约在西晋（265——316）时期，五华山就有了佛教寺庙。当时最着名的遗物，是已经有了“朗公桔”。这是被历代诗人所颂扬过的事实。
在东晋孝武皇帝司马曜的太元六年（381）以后，与南朝刘宋第二代皇帝刘义隆元嘉三年（426）之前，印度高僧杯渡，在五华山创立了他的道场——隐静寺。由于杯渡行踪神奇，佛法高深，在佛教史上有相当的地位，加上隐静寺具有相当的规模，在佛教中的名声和地位都名享遐迩；只是到了唐代中期，九华山金地藏在肃宗（756——762在位）皇帝的拥戴下，名声雀起后，隐静寺才次于九华山，被称做了“江东第二禅林”。
高僧杯渡怎么想到了在五华山修建他的道场呢？
杯渡来到江南，到处云游，总想找一个如意地方，做自己的道场。可是，多少时候，竟没有找到。当他云游到宣城永安寺（唐朝时已经改名“开元寺”）时９着自己的锡仗，举着它向天空投去，说："此仗落到哪里，我将决定在哪里做为道场，建筑庙宇。"
由于他的锡仗具有神气，投上天空后，被两只仙鹤抬着往西，一直抬到了五华山的行道峰上。杯渡顺着仙鹤飞去的路径，跟着来到了五华山上。在五华山的东北大山上一口水井处，他见到了自己抛掷的锡仗。
他仔细察看着五华山的地形山貌，见五峰拱合之处，好像人工特意设置得恰到好处，可谓是鬼斧神工，确是佛家登坛参禅的好地方。于是，他喜不自胜，把自己的道场定在了这里，并且决定在五华山上广建庙宇。
当他往锡仗卓地（锡仗落地）来的时候，看见一位牧童正在放牧水牛。于是指着牧童说：“我俩很有缘分，你当继承我的法道。”于是度这位牧童到了庙里，之后，这位牧童果然做了杯渡的接班人，这就是“龙安法师”。
为了纪念杯渡到五华山的事迹，以后的人们便把杯渡当年锡仗落下的山峰，命名为“行道峰”；把附近这口井命名为“卓锡泉”，把旁边的凹坑命名为“落衣宕”。这口井边正好有一个石洞，杯渡最初便在洞里栖身参禅，于是，人们把这石洞称做“卓锡寺”。寺庙建起来后，由于这个洞处在荒远寂寞的地方，又被称做“白猿洞”了。
杯渡知道，在这深山大岭上建筑庙宇，材料运输将是一件很困难的事。于是，他把化缘得来的物资，按照物资的种类，用佛法分门别类地潜化到五华山的各个水井里。在建筑庙宇时，从水井里取出来就是，非常方便，而且能够满足所需。于是，当年虽然建筑了许多宏大的庙宇，物资运输竟然得心应手。直至寺庙建筑好了，井里的物资便自行消失了。如今，五华山还有名叫木、米、盐、酱池的水井，木井里要是无意的话，还能看见半截木头。
隐静山上有桂花，开花通红，与别处的桂花异然不同。相传杯渡禅师每当有月亮的晚上，都趺坐树下，“桂月峰”便因此而得名。
杯渡在五华山时，曾经带来了一对神奇的鸟雀。这鸟在五华山上飞翔，鸣叫的时候，发出“频伽、频伽”的声音，人们叫它“频伽鸟”。清朝人陈泰有诗专门咏诵频伽鸟，并且还有序言，谨录在这里：
序言：频伽妙音鸟也。形如鸜，声似黄鹂，育自海外。昔杯渡禅师