Theo sách "Thiền Uyển tập anh", thiền sư Đạo Hạnh là con ông Từ Vinh và bà Tăng Thị ở làng Yên Lãng (tục gọi là làng Láng), là người thông minh, hiếu học, có chí lớn, tính tình phóng khoáng. Sau khi cha mất, Từ Đạo Hạnh chọn con đường đi Tây Vực để học đạo. Tuy không đến được Ấn Độ nhưng ông đã học được những phép thuật ở phái Mật Tông của Phật giáo. Khi trở về, ông đến tu tại núi Phật Tích (Hà Tây).