Năm 1928, thực dân Pháp tiếp tục xây dựng Banh III. Tổng diện tích: 13.603m2, lần lượt gọi các tên: Banh III, Lao 3, Trại Bác Ái, Trại 1, Trại Phú Thọ.
Trại Phú Thọ gồm 3 dãy phòng giam, trong đó có 2 dãy phòng giam tập thể và 1 dãy biệt lập, 1 khu nhà bếp và 1 khu bệnh xá. Sau Cách mạng tháng 8/1945 trại giam này được chỉnh trang lại còn 2 dãy (mỗi dãy có 4 phòng).
Thực dân Pháp sử dụng Banh III để giam giữ, cách ly những tù nhân mới bị đưa ra Đảo trước khi chuyển qua các Banh khác, nhằm để ngăn chặn tin tức từ đất liền đưa ra, sợ ảnh hưởng đến tù nhân cũ. Sau đó, Bagne III trở thành nơi giam giữ tù chính trị mà địch liệt vào hạng “Thành phần nguy hiểm “, “Bất trị” bị kết án về tội phá hoại và âm mưu phá rối trị an, tù vượt ngục nhiều lần…cũng bị đưa ra đây.
Giai đoạn năm 1939 – 1945 là nơi dùng để giam giữ những người bị bắt trước và sau cuộc khởi nghĩa Nam Kỳ (1940), trong đó có các đồng chí: Lê Duẩn, Dương Bạch Mai…Các chuyến chuyển tù nhân từ Sơn La – Hỏa Lò bị đày ra đảo mùa hè 1944 cũng bị cấm cố ở đây, có nhiều đồng chí là lãnh đạo cấp ủy và xứ ủy Bắc Kỳ. Banh III là một trong những trại đày ải cầm cố khắc nghiệt, hàng ngàn tù chính trị bị đánh đập, đày ải đến chết trong thời kỳ thực dân Pháp khủng bố trắng sau khởi nghĩa Nam Kỳ.
Đồng chí Vũ Văn Hiếu người Bí thư đầu tiên Đặc khu mỏ Hòn Gai đã trút hơi thở cuối cùng trong phòng cấm cố. Phút lâm chung đồng chí đã trao tấm áo trên người mình khoác cho người bạn tù – đồng chí Lê Duẩn với lời trăn trối: “Ráng sống mà phục vụ cho cách mạng”. đồng chí Vũ Văn Hiếu đã trở thành biểu tượng của người cộng sản: “Sống vì Đảng – chết cũng không rời Đảng”, là nguồn cảm hứng cho nhà văn, nhà điêu khắc sáng tạo tượng đài trao áo qua tứ thơ: “Chết còn cởi áo cho nhau; chén cơm manh áo người sau ấm lòng…”.
Thời Mỹ – ngụy giam giữ cả nữ tù chính trị. Đặc biệt phòng số 10 địch sử dụng làm khu biệt lập ngăn ra 15 phòng nhỏ gọi là phòng kỷ luật. Tù nhân bị giam ở đây thường gọi dí dỏm là “Biệt lập chuồng Gà”.
Ngày 01/5/1963, tại hiên phòng 4, các đồng chí đã bí mật tổ chức Hội nghị tuyên bố thành lập Chi bộ đảng mang tên Lê Hồng Phong – Người chiến sĩ cách mạng tiền bối, người đảng viên Đảng Cộng sản Việt Nam tiêu biểu, kiên cường bất khuất.
Ngày 29/4/1979, di tích trại Phú Thọ đã được, Bộ Văn hóa – Thông tin đã ra Quyết định số 54-VHTT.QĐ đặc cách công nhận Khu di tích đặc biệt quan trọng của Quốc gia. Ngày 10/5/2012 Thủ tướng Chính phủ ký Quyết định số 548/QĐ-TTg xếp hạng là Di tích Quốc gia đặc biệt.
