Nhà khách vãng lai do Pháp xây dựng từ cuối thế kỉ 19 nằm trong quần thể của dinh thự Chúa đảo. Diện tích 1.019m2. Thời Mỹ ngụy, gọi là nhà Công quán hay Câu lạc bộ, cũng là nơi dừng chân của các lữ khách khi đến đây thi hành công vụ.
Tại đây đại nhạc sỹ kì tài nước Pháp tên Camille Saintsaens đã lưu lại đây tròn 1 tháng (20/3 – 19/4/1895). Trong thời gian ở Côn Đảo, ông đi dạo các con đường ven biển, vào khu rừng sinh thái… và cũng từng chứng kiến cảnh tù nhân tù làm khổ sai hàng ngày như: ngâm mình hàng mấy giờ đồng hồ dưới nước để lấy san hô về nung vôi, làm khổ sai phá đá mở đường, kéo gỗ…
Đêm cuối cùng ở Côn Đảo, ông đã lần theo chân của những người tù đến Banh I và nghe từ trong các phòng giam, xà lim vọng ra tiếng so dây đàn nhị. Ông không thể hình dung được với sự tra tấn dã man mà người tù vẫn lạc quan như thế cộng với tiếng sóng biển và vẻ đẹp thiên nhiên ở Côn Đảo mà ông đã cảm nhận được. Đêm đó khi trở về phòng ông đã thức trắng đêm và hoàn tất chương cuối của vở nhạc kịch “Brunehilda”.
Nỗi niềm trăn trở của ông còn lưu lại trong bức thư gởi chúa đảo Jacke… “phong cảnh Côn Đảo thật tuyệt vời, những nơi tôi đã đi qua tôi chưa thấy nơi nào đẹp như thế. …Là người làm nghệ thuật tôi tin chắc rằng: Ở đâu cái đẹp được tôn trọng, ở đó tội ác được đẩy lùi, ở đó chẳng cần đến luật pháp…”. Có lẽ đây cũng là dấu ấn văn minh nhất của nước Pháp còn lưu lại tại hòn đảo ngục tù ngày ấy.
Hiện nay ngôi nhà này được trùng tu nằm trong quần thể của Dinh Chúa đảo.
Ngày 29/4/1979, di tích Nhà công Quán đã được Bộ Văn hóa – Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.