相传，秦始皇七巡天下 ，三登琅琊台，以建功勋。有出海寻仙者为讨始皇帝欢心，奉出海所获不死灵药，始皇帝龙颜大悦，斋戒三日，欲择吉时而服。吉时至，秦始皇手托灵药，却有白马突至，掠灵药而逃，向西南方向狂奔而去，在胶东区域，忽见大山印入眼帘，遂隐入深山，始皇帝派重兵近前搜捕数日，却始终没有发现白马的影子，只好扫兴而归。 白马隐居于此山之中，两千年来时有传闻，为百姓奉为灵兽，人们便把这座山称之为“藏马山”，顺水而下的那条小河也称为“白马河”。
白马食灵药 ，藏于藏（cáng）马山 ，藏马山、白马河一带，历史上隶属琅琊郡。在泱泱中华文明中，琅琊文化散发着独特光彩，琅琊台犹如一部厚重的历史书，是琅琊文化的重要凝聚点。
历代以来，许多帝王前来祭祀游览，有齐国的开国公姜尚、齐桓公、越王勾践、秦始皇、汉武帝等，九位帝王先后登临此地。