Vọng Hương đài, cũng chính là Thổ Cao đài, nơi có đình Mạnh Bà, là ở phía trước cây cầu, chứ không phải ở phía sau cây cầu. Vọng Hương đài lại gọi là "Tư Hương lĩnh" (đồi nhớ quê).

Ở nơi này, có thể lên đài nhìn về ngôi nhà nơi dương thế, vậy nên nơi đây đã trở thành cửa sổ nhìn về Dương gian của quỷ hồn và Thánh địa, là nơi liên lạc tình cảm giữa người sống và người chết.

Truyền thuyết kể rằng, sau khi con người chết rồi, "ngày đầu tiền không ăn cơm nơi cõi người, ngày thứ hai liền qua Âm Dương giới, ngày thứ ba đến Vọng Hương đài, nhìn thấy người thân đang khóc lóc thảm thiết".

Quỷ hồn đến trước địa phủ báo cáo, rất nhớ mong người thân nơi dương thế. Dù cho quỷ tốt giận dữ quát mắng, vẫn nhất quyết muốn lên Vọng Hương đài nhìn về quê nhà, khóc lớn một trận mới hết hy vọng và đi đến "Âm Tào Địa Phủ".

Theo truyền thuyết, Vọng Hương đài là nơi mà vong hồn nhìn về dương thế tạm biệt người thân một lần cuối cùng. Lại có truyền thuyết rằng, kiến tạo của Vọng Hương đài nơi âm gian rất kỳ lạ, trên rộng dưới hẹp, mặt như cánh cung, lưng như dây cung ngang nhau, ngoài một con đường đá rất nhỏ ra, còn lại đều là núi đao rừng kiếm, hiểm trở vô cùng. Đứng ở trên đó, năm châu bốn biển đều có thể nhìn thấy.

"Trên Vọng Hương đài quỷ hốt hoảng, mắt mở trừng trừng lệ hai hàng. Vợ con già trẻ tựa bên hòm, bạn bè thân quyến trước linh đường".