Cùng với sự gia tăng quy mô của cuộc chiến tranh xâm lược, nhà tù Côn Đảo cũng được mở rộng. Phái đoàn quân sự Hoa Kỳ sau nhiều đợt khảo sát (1967- 1968) đã đề nghị Chính phủ Mỹ sử dụng ngân sách: “Chương trình viên trợ quân sự và kinh tế của Mỹ ở Việt Nam” để xây dựng trại giam kiểu mẫu ở Côn Đảo.
Hãng thầu RMK- BRJ là một trong những hãng thầu nổi tiếng của Mỹ đã trúng thầu và gấp rút xây dựng và hoàn thành. Khác với trại giam do thực dân Pháp xây dựng, các công trình phụ như nhà bếp, bệnh xá, kho lương thực, thực phẩm thì được bố trí trước cổng trại, còn các phòng giam thì ẩn sâu bên trong.
Trại 6 sau Hiệp định Pari được gọi là trại Phú An, gồm 20 phòng giam, chia làm 02 khu: A và B, mỗi khu có 10 phòng được bố trí thành hai dãy đối diện nhau và có một khu biệt lập gồm 4 xà lim. Tổng diện tích 29.394m2
Tháng 8/1970, Mỹ ngụy đã thành lập Tiểu đoàn tâm lý chiến thí điểm Côn Sơn tại đây. Năm 1972, sau khi Tiểu đoàn tâm lý chiến thất bại, địch đã đổi cách đọc ngược lại là từ phòng 11 đến phòng 20 gọi là khu A, từ phòng 01 đến phòng 10 là khu B.
Đảng bộ mang tên người chiến sỹ Lưu Chí Hiếu đã được thành lập vào ngày 03/02/1972, Bí thư là đồng chí Trần Văn Cao (Tư Cao). Với tinh thần đoàn kết và chiến đấu cao, tù chính trị câu lưu ở Trại 6 khu B đã tổ chức nhiều cuộc đấu tranh tiêu biểu, trong đó có đợt tuyệt thực 19 ngày (10/1972), cuộc đấu tranh chống lăn tay chụp hình, tráo án tù chính trị thành “gian nhân hiệp đảng” (5/1973) và đây cũng là nơi ra đời Tập san Sinh Hoạt và Xây Dựng.
Cuối năm 1974, nắm được tinh thần Hiệp định Paris, Đảng ủy, Đảng bộ Lưu Chí Hiếu đã thành lập Ban quân sự, Ban an ninh để chuẩn bị đón thời cơ tự giải phóng.
Ngày 29/4/1979, di tích trại Phú An đã được Bộ Văn hóa – Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.