Bệnh viện Chợ Rẫy là một trong bốn bệnh viện cổ xưa nhất Sài Gòn cùng với Bệnh viện Nhân dân Gia Định, Bệnh viện Nhi Đồng 2 (tiền thân là Bệnh viện Quân y) và Bệnh viện Nhiệt Đới ( Bệnh viện Chợ Quán).
Bệnh viện Chợ Rẫy được thành lập vào năm 1900, lúc đó có tên chính thức tiếng Pháp là Hôpital Municipal de Cholon (Bệnh viện thị xã Chợ Lớn) tại Sài Gòn. Đây là một trong những hạ tầng y tế của Pháp thành lập ở Việt Nam sớm nhất cùng với Viện Pasteur Sài Gòn năm 1891, Viện Pasteur Nha Trang năm 1895.
Bệnh viện Chợ Rẫy được xây dựng trên nền đất cao có diện tích trên 50.000 m² với các tòa nhà kiểu pháp, cao 2 tầng, vốn trước đây là chợ mua bán nông sản của người Hoa, có tên là chợ Rẫy. Và từ đó, người dân vẫn quen gọi là bệnh viện Chợ Rẫy và tên này được dùng chính thức cho đến ngày nay.
Tên đầu tiên của Bệnh viện là L’Hôpital Municipal sau đó mới đổi thành Hôpital Indigène, thời điểm mới xây xong Bệnh viện này người Pháp họ đã dành riêng để chữa bệnh cho dân bản xứ. Toàn bộ chi phí xây dựng và thuốc men khi đó đều được các y bác sĩ và nhân viên bệnh-viện đều dành cho dân bản xứ, chỉ tính trong năm 1909 đã có hơn 2.603 bệnh nhân điều trị nội trú và đã có 49 cuộc phẫu thuật, tất cả toàn bộ người bệnh đều được chữa trị hoàn toàn miễn phí kể các chích ngừa khi đó.
Trong khuôn viên của bệnh-viện có một sân vườn rất lớn dành cho bệnh nhân, một khoa điều trị nội trú riêng cho những người dân bản xứ cùng một trường đào tạo điều dưỡng của bệnh-viện, trong năm 1909 đã có 6 học viên người bản xứ được học miễn phí tại đây, bên cạnh đó, họ còn đóng góp tài chính và vật lực, xây dựng thêm nhiều bệnh viện, trường học, cơ sở hạ tầng cho chính địa phương nơi họ cư trú.
Trong thời kỳ đầu, Bệnh viện Chợ Rẫy có nhiều lần đổi tên:
Năm 1919: đổi tên thành Hôpital Indigene de Cochinchine (bệnh viện bản xứ Nam Kỳ).
Bệnh viện Chợ Rẫy ngày xưa
Năm 1938: đổi tên thành Hôpital Lalung Bonnaire.
Năm 1945: đổi tên thành Hôpital 415. Sau đó, tách thành hai phòng khám Hàm Nghi và Nam Việt.
Năm 1957, hai phòng khám trên sáp nhập lại thành bệnh viện Chợ Rẫy. Đây đánh dấu thời điểm bệnh viện mang tên Chợ Rẫy. Bệnh viện Chợ Rẫy ngoài chức năng là cơ sở điều trị còn là trường sở của Trường Đại học Y khoa Sài Gòn thuộc Viện Đại học Sài Gòn. Chợ Rẫy là bệnh viện thực tập các môn nội khoa, ngoại khoa, tai-mũi-họng, nhãn khoa cùng là nơi giảng dạy môn cơ thể học.
1971, Chính phủ Nhật Bản viện trợ không hoàn lại cho chính quyền Việt Nam Cộng hòa (qua hình thức bồi thường chiến tranh) để tái xây dựng bệnh viện Chợ Rẫy trên diện tích 53.000 m² cùng với trang thiết bị hiện đại, trở thành một trong những bệnh viện lớn nhất Đông Nam Á lúc bấy giờ. Công trình được hoàn thành vào tháng 6 năm 1974 với tòa nhà 11 tầng.
1993–1995: Chính phủ Nhật Bản tiếp tục viện trợ không hoàn lại nâng cấp cơ sở bệnh viện.
Hiện nay, Bệnh viện Chợ Rẫy là bệnh viện đa khoa hoàn chỉnh, xếp hạng đặc biệt, tuyến kỹ thuật sau cùng của 37 tỉnh, thành phố phía Nam, trực thuộc Bộ Y tế Việt Nam.
Năm 2010, bệnh viện được Bộ Y tế xếp hạng Đặc biệt với tổng cộng hơn 66 khoa lâm sàng và cận lâm sàng cùng nhiều chuyên khoa khác.
