Banh II, do thực dân Pháp xây dựng năm 1908 hoàn thành năm 1916. Sang thời Mỹ – ngụy đổi tên là Lao 2, trại Nhân Vị, Trại 3, sau hiệp định Pari năm 1973 gọi là trại Phú Sơn. Diện tích 15.212m2, gồm 13 phòng giam lớn và 14 xà lim. Ngoài ra còn có các công trình phụ như: Phòng y tế, nhà ăn, nhà bếp, câu lạc bộ, phòng hớt tóc, văn phòng giám thị và sân vườn…
Banh II xây dựng đồ sộ và kiên cố hơn, có lối đi bên trên để trật tự, cai ngục đi kiểm tra người tù. Một lần vào đêm khuya tù nhân đã tìm cách vật tên cai ngục xuống chết tại chỗ, từ đó địch khiếp sợ không sử dụng lối đi này nữa.
Trái với yêu cầu cấp bách của Banh I là phải đấu tranh chống chế độ khổ sai giết tù thì yêu cầu cấp bách của Banh II là đoàn kết các xu hướng chính trị, đấu tranh đòi cải thiện đời sống, thực hiện chế độ tù chính trị, bảo vệ sinh mạng cán bộ. Nơi đây, các đồng chí đã tổ chức học tập văn hóa, lý luận, đào tạo và rèn luyện cán bộ, nhiều đồng chí cán bộ cốt cán của Đảng và Nhà nước ta đã trưởng thành như: đồng chí Nguyễn Văn Cừ, Lê Duẩn, Phạm Văn Đồng, Hoàng Quốc Việt, Lê Thanh Nghị, Hà Huy Giáp…
Vào Tết năm 1935, tại sân Banh II, đồng chí Phạm Văn Đồng, Nguyễn Văn Linh, Nguyễn Kim Cương cùng một số đồng chí khác đã tổ chức diễn thành công vở kịch Napoleon. Gác ngục Pháp vào xem rất đông, những vở kịch không chỉ thành công trong lĩnh vực nghệ thuật mà còn thắng lợi về mặt ngọai giao. Nhiều gác ngục Pháp tỏ thái độ kính nể những người tù cộng sản có văn hóa, có nhân cách và hiểu biết sâu rộng, từ đó họ ít đánh tù và xưng hô bớt thô tục hơn.
Khu xà lim cũng được bố trí tinh vi hơn, nằm khuất sau bức tường dày, rất khó phát hiện. Tù nhân bị cấm cố ở đây bị ghẻ lở đầy người, mờ mắt vì thiếu ánh sáng, khí trời và dinh dưỡng, chế độ ăn uống tồi tệ, nhiều người bị kiết lỵ nặng rồi chết. Khu xà lim được thực dân Pháp gọi là “Vườn ươm cây cộng sản”. Nơi đây đã từng giam giữ, cấm cố đồng chí Lê Hồng Phong, Nhà yêu nước Nguyễn An Ninh… Dưới chế độ khắc nghiệt của nhà tù, ngày 06/9/1942, căn bệnh kiết lỵ và những trận tra tấn của địch, đồng chí Lê Hồng Phong đã trút hơi thở cuối cùng tại Xà lim số 05.
Giai đọan 1951-1953, Banh II là nơi giam giữ các đòan tù binh từ miền Bắc và miền Trung đưa ra. Phương án võ trang giải thoát tù nhân đã hình thành từ đây, dẫn đến cuộc võ trang vượt đảo tại Bến Đầm ngày 12/12/1952 của 198 tù binh.
Tháng 8/1970 nơi lực lượng xung kích mở đầu cuộc đấu tranh mang tên “Mùa thu đồng khởi”, đây là cuộc đồng khởi chống khổ sai và chống chào cờ của hơn 4000 tù chính trị trên toàn đảo.
Ngày 29/4/1979, di tích trại Phú Sơn đã được, Bộ Văn hóa – Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.