Dinh chúa đảo (Dinh Ông lớn, Dinh tỉnh trưởng…), hình thành khoảng 1862 – 1876 cùng với các cơ sở hạ tầng trên đảo. Tổng diện tích 20.810m2, bao gồm: Nhà chính, nhà phụ và sân vườn…Trải qua 113 năm (1862 – 1975), tại đây đã có lần lượt 53 đời Chúa đảo sinh sống và làm việc (trong đó 92 năm thời thực dân Pháp có 39 chúa đảo và 21 năm thời đế quốc Mỹ có 14 chúa đảo).
Tù nhân thường gọi Giám đốc là Ông Lớn hay Chúa Đảo, đây là nơi tập trung cao nhất quyền lực trên đảo cả về hành chính, tư pháp, quân sự. Đồng thời, đây cũng là nơi xuất phát các âm mưu thủ đoạn cai trị tù nhân, trung tâm chỉ huy các cuộc đàn áp qui mô trên toàn đảo. Chúa đảo đầu tiên là Félix Roussel, trung úy, phó hạm trưởng hải quân Pháp, Chúa đảo cuối cùng là Lâm Hữu Phương.
Nơi đây có nhiều chúa đảo mà sự tàn bạo đồng nghĩa với chế độ giết người, Chúa đảo Andouard là một trong số đó đã bị tù nhân sát hại năm 1919.
Nhà Chúa đảo thể hiện cuộc sống xa hoa của sự thống trị bên cạnh cuộc sống khổ ải, nghèo nàn của người tù. Trong khu vườn (Sở rẫy Ông Lớn) thường xuyên có hàng chục tù nhân phải lao động khổ sai và phục dịch tất cả sinh họat, từ ăn, mặc, ở… cho Chúa đảo. Đây cũng là nơi thành lập Chính quyền Cách mạng đầu tiên ở Côn Đảo năm 1945 và ngày Côn Đảo hoàn toàn giải phóng năm 1975.
Ngày 29/4/1979, Bộ Văn hóa – Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia, trong đó có di tích Nhà Chúa đảo. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.
Năm 2019, di tích Nhà Chúa đảo được trùng tu, tôn tạo và phục dựng nội thất tái hiện sinh hoạt của các đời chúa đảo.