Theo truyền thuyết kể lại rằng, chùa được xây dựng vào nǎm Kỷ Sửu, niên hiệu Sùng Hưng Đại Bảo 1 (1049) đời Lý Thái Tông. Vua Lý Thái Tông (1028-1054) chiêm bao thấy Phật Quan Âm trên tòa sen đưa tay dắt vua lên tòa. Khi tỉnh dậy, vua kể lại cho các quan nghe, sư Thiên Tuế khuyên nhà vua làm chùa, dựng cột đá ở giữa hồ, làm tòa sen của Phật Quan Âm như đã thấy trong mộng. Chùa xây xong, đài sen nghìn cánh đỡ tòa Phật sắc hồng, trong đặt tượng Phật vàng lấp lánh. Các nhà sư đến làm lễ, đi vòng quanh chùa niệm Phật cầu phúc cho vua sống lâu, vì thế đặt tên là chùa Diên Hựu.


Trải qua năm tháng, chùa Một Cột đã được trùng tu sửa chữa nhiều lần. Chùa hiện nay xây dựng vào năm 1955, đài Liên Hoa có kết cấu hình vuông, lợp ngói ta, mỗi chiều dài 3m, bốn mái cong, bốn đầu đao được đắp hình đầu rồng. Toàn bộ đài đặt trên trụ đá có đường kính 1,2m, cao 4m (chưa kể phần chìm dưới đất). Trụ đá gồm 2 khối gắn rất khéo thoạt nhìn như một khối đá liền. Tầng trên đỡ một hệ thống những thanh gỗ tạo thành bộ khung sườn kiên cố đỡ cho ngôi chùa dựng bên trên, tựa như một đóa hoa sen vươn thẳng từ mặt hồ nhỏ hình vuông, có xây lan can bằng gạch xung quanh. Một chiếc thang xây dẫn lên chùa. Trên cửa có đề Liên Hoa Đài gợi nhớ sự tích nằm mộng của vua Lý dẫn tới việc xây dựng chùa. Nét độc đáo của kiến trúc chùa Một Cột là toàn bộ ngôi chùa được đặt trên một cột đá.

Năm 1962, chùa Một Cột được xếp hạng Di tích lịch sử kiến trúc nghệ thuật quốc gia. Năm 2006, chùa Một Cột được Tổ chức Kỷ lục Việt Nam xác lập kỷ lục Việt Nam. Đây là một trong những ngôi chùa nổi tiếng và được nhắc đến nhiều nhất trong lịch sử Việt Nam cũng như trong giới nghiên cứu trong và ngoài nước.