Cũng như tầng 2, tầng 3 của toà nhà đá có kiến trúc gồm 4 cột đá lớn nguyên khối cao 3,8 m, đường kính 0,9 m nằm 4 góc sát tường bao tầng. Tường của tầng 3 chỉ có 18 cột đá và vách bưng đá cũng giống như tầng 2. Điều độc đáo ở tầng 3 không có cửa ở phía Bắc như tầng 2, nhưng trên dầm đá phía Bắc ở giữa dựng một phù điêu đá lớn. Phù điêu đá cao 7,5 m, gồm bức phù điêu, 2 cột đá và mái phù điêu. Bức phù điêu này cao nhất, đứng ở chỗ quan trọng nhất, là mặt tiền của toà nhà đá, khẳng định Toà nhà Đá Việt.

Tầng 4 của toà nhà đá thi công vất vả hơn nhiều vì phải xây dựng ở độ cao trên 12m, phải dùng cần cẩu cỡ lớn để chuyển nguyên vật liệu lên cao. Đây là tầng có cao nhất với 14m, tính đến đỉnh tháp khánh đá, tạo cho toà nhà có độ cao 27m. Tầng 4 có Nghênh phong các xây toàn bằng đá cao 8,1m và một tháp đá cao 14m có 3 tầng xây toàn bằng các tấm đá lớn, trên tầng 3 của tháp đá treo khánh đá.