Năm 1928, thực dân Pháp tiếp tục xây dựng Banh III. Tổng diện tích: 13.603m2, lần lượt gọi các tên: Lao 3, Trại Bác Ái, Trại 1, Trại Phú Thọ. Gồm 3 dãy phòng giam, trong đó có 2 dãy phòng giam tập thể và 1 dãy biệt lập, 1 khu nhà bếp và 1 khu bệnh xá. Sau Cách mạng tháng 8/1945 trại giam này được chỉnh trang lại còn 2 dãy (mỗi dãy có 4 phòng).
Thực dân Pháp sử dụng Banh III để giam giữ, cách ly những tù nhân mới bị đưa ra đảo trước khi chuyển qua các Banh khác, nhằm để ngăn chặn tin tức từ đất liền đưa ra. Sau đó, Bagne III trở thành nơi giam giữ tù chính trị mà địch liệt vào “Thành phần nguy hiểm “, “Bất trị” bị kết án về tội phá hoại và âm mưu phá rối trị an, tù vượt ngục nhiều lần…
Giai đoạn năm 1939 – 1945 là nơi giam giữ những người bị bắt trước và sau cuộc khởi nghĩa Nam Kỳ (1940), trong đó có các đồng chí: Lê Duẩn, Dương Bạch Mai, Vũ Văn Hiếu… Năm 1952, sử dụng giam lớp tù binh mới ra đảo. Banh III là một trong những trại đày ải cầm cố khắc nghiệt, hàng ngàn tù chính trị bị đánh đập, đày ải đến chết trong thời kỳ thực dân Pháp khủng bố trắng sau khởi nghĩa Nam Kỳ.
Đồng chí Vũ Văn Hiếu người Bí thư đầu tiên Đặc khu mỏ Hòn Gai đã trút hơi thở cuối cùng trong phòng cấm cố. Phút lâm chung đồng chí đã trao tấm áo trên người mình khoác cho người bạn tù – đồng chí Lê Duẩn với lời trăn trối: “Ráng sống mà phục vụ cho cách mạng”. Đồng chí Vũ Văn Hiếu đã trở thành biểu tượng của người cộng sản “Sống vì Đảng – chết cũng không rời Đảng”, là nguồn cảm hứng cho nhà văn, nhà điêu khắc sáng tạo tượng đài trao áo qua tứ thơ: “Chết còn cởi áo cho nhau; chén cơm manh áo người sau ấm lòng…”.
Đặc biệt phòng số 10 địch sử dụng làm khu biệt lập ngăn ra 15 phòng nhỏ gọi là phòng kỷ luật. Tù nhân bị giam ở đây thường gọi dí dỏm là “Biệt lập chuồng Gà”.
Ngày 01/5/1963, tại hiên phòng 4, Chi bộ đảng mang tên Lê Hồng Phong – Người chiến sĩ cách mạng tiền bối, người đảng viên Đảng Cộng sản Việt Nam tiêu biểu, kiên cường bất khuất đã được thành lập.
Ngày 29/4/1979, di tích trại Phú Thọ đã được, Bộ Văn hóa – Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.