Banh III phụ xây dựng năm 1940, lần lượt gọi các tên như: Lao III phụ, Trại phụ Bác Ái, Trại IV và cuối cùng đổi tên là trại Phú Tường. Tổng diện tích: 5.894m2 bao gồm: 8 phòng giam chia làm hai dãy, các công trình phụ như: nhà bếp, nhà kho, bệnh xá và sân vườn…
Có giai đoạn nơi đây giam những người tù mắc bệnh truyền nhiễm, năm 1959 ngụy quyền chuyển 1.500 tù chính trị câu lưu chống ly khai ở trại I về phân tán ở trại giam này cùng với Banh III và khu biệt lập Chuồng cọp.
Năm 1970, cuộc đấu tranh của tù bại lết Trại 4, Chuồng Bò, cùng với hơn 300 nữ tù chính trị tại Chuồng Cọp đã trở thành ngọn cờ thôi thúc phong trào chống chào cờ của toàn thể tù chính trị tại Côn Đảo.
Ngày 29/4/1979, di tích trại Phú Tường đã được Bộ Văn hóa – Thông tin ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.