Xi măng là một trong những cơ sở công nghiệp được hình thành và phát triển sớm nhất ở Việt Nam. Cái nôi đầu tiên của Ngành xi măng Việt Nam là Nhà máy Xi măng Hải Phòng, được khởi công xây dựng ngày 25/12/1899 với nhãn mác con Rồng Xanh, Rồng Đỏ đã có mặt tại Hội chợ triển lãm Liege (Pháp) năm 1904 và hàng vạn tấn xi măng Hải Phòng đã có mặt trên thị trường tiêu thụ ở các nước như vùng Viễn đông, Vladivostoc, Java (Indonesia), Hoa Nam (Trung Quốc), Singapore...

Sau khi Hiệp định Giơ-ne-vơ được ký kết năm 1954, Miền Bắc nước ta tiến hành công cuộc cải tạo và xây dựng XHCN, còn Miền Nam tiếp tục cuộc cách mạng dân tộc dân chủ. Nhà máy xi măng Hải Phòng được khôi phục và phát triển vừa sản xuất vừa chiến đấu bảo vệ nhà máy trong các cuộc bắn phá ác liệt bằng máy bay của Mỹ để đáp ứng nhu cầu xi măng phục vụ cho các công trình quốc phòng và phát triển kinh tế ở Miền Bắc.

Sau ngày 30/4/1975, Đất nước hoàn toàn toàn thống nhất, ngoài Nhà máy xi măng Hải Phòng và một số cơ sở xi măng lò đứng, ngành xi măng còn tiếp quản nhà máy xi măng Hà Tiên với công suất 300.000 tấn/năm, sản xuất theo phương pháp ướt đã được xây dựng từ thời Mỹ - Ngụy.

Bước vào kế hoạch 5 năm lần thứ II (1976-1980) để phù hợp với công cuộc xây dựng lại, Đảng và Nhà nước quyết định xây dựng mới hai nhà máy xi măng hiện đại, công suất lớn: Bỉm Sơn (Thanh Hoá) và Hoàng Thạch (Hải Dương). Nhà máy xi măng Bỉm Sơn do Liên Xô (cũ) đầu tư với hai lò quay phương pháp ướt, kích thước 5,0x185m, công suất 1,2 triệu tấn Clinker/năm. Nhà máy xi măng Hoàng Thạch do F.L Smidth đầu tư với một lò quay phương pháp khô, kích thước 5,5x89 m, công suất 1,1 triệu tấn Clinker/năm. Nhà máy xi măng Bỉm Sơn bắt đầu sản xuất năm 1981, nhà máy xi măng Hoàng Thạch năm 1983.

Phía Nam, tại tỉnh Kiên Giang, Nhà máy xi măng Hà Tiên với 02 lò quay phương pháp ướt, kích thước 3,3x100 của hãng Venot-Pic (Pháp) và từ 1991 được mở rộng với 01 lò quay phương pháp khô, kích thước 4,8x64m của hãng Polysius (Pháp). Clinker sản xuất một phần chuyển về Thủ Đức bằng đường thuỷ để nghiền và đóng bao phục vụ cho nhu cầu của Thành phố Hồ Chí Minh.

Trước yêu cầu cấp bách về xi măng chất lượng cao phục vụ cho công cuộc xây dựng Đất nước và chuẩn bị kế hoạch 5 năm lần thứ III (1981-1985); để phát huy năng lực sản xuất của các nhà máy xi măng đã và đang được đầu tư mới, ngày 7/9/1979 Hội đồng Chính phủ đã ban hành Quyết định số 308/CP thành lập Liên hiệp các xí nghiệp xi măng. Ngày 1/4/1980 Liên hiệp các xí nghiệp xi măng bắt đầu đi vào hoạt động trong phạm vi cả nước. Ngày 1/6/1980 Công đoàn LHCXN xi măng được thành lập theo Quyết định số 135/VP của Thường vụ công đoàn xây dựng Việt Nam.

Sau hơn 13 năm hoạt động, ngày 05 tháng 10 năm 1993 Bộ xây dựng có Quyết định số 456/BXD-TCL đổi tên Liên hiệp các xí nghiệp xi măng thành Tổng Công ty Xi măng Việt nam, tiếp theo đó Thủ tướng Chính phủ có Quyết định số 670/TTg ngày 14/11/1994 thành lập Tổng Công ty Xi măng Việt nam hoạt động theo mô hình Tổng công ty 91 trên cơ sở sắp xếp lại các đơn vị lưu thông, sự nghiệp của Ngành xi măng với nhiệm vụ chính trị to lớn là sản xuất thật nhiều xi măng cho Tổ quốc.

Vào năm 1994, sản lượng xi măng của Tổng Công ty Xi măng Việt Nam là 1,4 triệu tấn.

Để đáp ứng nhu cầu xi măng ngày càng tăng, tháng 07 năm 1996 dây chuyền 2 nhà máy xi măng Hoàng Thạch với công suất 1,2 triệu tấn/năm đi vào sản suất nâng tổng công suất Xi măng Hoàng Thạch lên 2,3 triệu tấn và năm 1998 Nhà máy Xi măng Bút Sơn (Hà Nam) với thiết bị của hãng Technip-Cle (Pháp), công suất 1,4 triệu tấn chính thức hoạt động.

Tổng Công ty Xi măng còn liên doanh với Tập đoàn Chìnfon và Thành phố Hải Phòng xây dựng nhà máy xi măng Chinh Phong công suất 1,4 triệu tấn/năm, liên doanh với Hoderbank Financial Glaris Ltd (Thuỵ Sỹ) xây dựng nhà máy xi măng Sao Mai (Hòn Chông, Kiên Giang) công suất 1,76 triệu tấn/năm, liên doanh với Nihon Cement Corporation và Mitsubishi Materials Corporation (Nhật) xây dựng nhà máy xi măng Nghi Sơn (Thanh Hoá) công suất 2,2 triệu tấn/năm.

Từ năm 1990 nhu cầu xi măng hàng năm tăng khoảng 20%, do đó Tổng Công ty Xi măng đã có kế hoạch phát triển sản xuất, mở rộng, đầu tư, liên doanh để có sản lượng xi măng phù hợp với nhu cầu của thị trường.

Tổng Công ty Xi măng Việt nam là một trong 17 Tổng công ty được tổ chức và hoạt động theo Quyết định số 91/TTg ngày 07/3/1994 của Thủ tướng Chính phủ về việc thí điểm thành lâp Tập đoàn kinh doanh.

Ngày 8 tháng 2 năm 1996 Chính phủ có nghị định số 08/CP phê chuẩn điều lệ tổ chức và hoạt động của Tổng công ty xi măng Việt nam.

Qua hơn 10 năm hoạt động theo mô hình Tổng công ty 91, Tổng công ty xi măng Việt Nam đã tạo được chuyển biến tốt về các mặt công tác, đạt được những kết quả theo mục tiêu và nhiệm vụ được giao, là lực lượng chủ lực trong việc đảm bảo cân đối về xi măng trên thị trường trong nước, giữ bình ổn thị trường là công cụ vật chất để nhà nước điều tiết nền kinh tế theo định hướng XHCN.

Thực hiện Nghị quyết Hội nghị lần thứ 3 Ban chấp hành Trung ương Đảng (khoá IX) Thủ tướng Chính phủ đã có Quyết định số 64/2002/QĐ-TTg ngày 18/12/2002 phê duyệt qui hoạch phát triển công nghiệp xi măng Việt Nam đến năm 2010 và định hướng đến năm 2020, trong đó cho phép "xây dựng Tổng công ty xi măng Việt nam thành Tập đoàn kinh tế mạnh, có công nghệ sản xuất hiện đại, sản phẩm có chất lượng cao, có xuất khẩu một phần xi măng, đóng vai trò chủ đạo trong việc cung ứng ổn định thị trường xi măng trong nước".

Ngày 29/8/2006 Thủ tướng Chính phủ có quyết định số 196/2006/QĐ-TTg chuyển Tổng công ty xi măng Việt Nam sang hoạt động theo mô hình công ty mẹ-công ty con và quyết định số 197/2006/QĐ-TTg thành lập Công ty mẹ - Tổng Công ty Xi măng Việt Nam trên cơ sở tổ chức lại quản lý, điều hành Tổng Công ty Xi măng Việt Nam và Công ty xi măng Hoàng Thạch.

Ngày 6/12/2007 Thủ tướng Chính phủ có quyết định số 189/2007/QĐ-TTg điều chỉnh một số nội dung của các quyết định số 196/2006/QĐ-TTg và quyết định số 197/2006/QĐ-TTg:

- Đổi tên gọi Tổng Công ty Xi măng Việt Nam thành Tổng Công ty Công nghiệp xi măng Việt Nam. Tên giao dịch quốc tế Vietnam Cement Industry Corporation (VICEM).
- Bổ sung thêm ngành, nghề kinh doanh của Công ty mẹ- Tổng Công ty Công nghiệp xi măng Việt nam như sau: xây dựng, quản lý, khai thác cảng biển, cảng sông; xây dựng, quản lý, khai thác đường bộ cao tốc, đường biển, đường sắt; đầu tư, kinh doanh cơ sở hạ tầng, khu công nghiệp và đô thị, kinh doanh bất động sản, cho thuê nhà xưởng, kho tàng, nhà ở, văn phòng; sản xuất, kinh doanh điện; trồng rừng, khai thác và chế biến cao su; xuất khẩu lao động; điều trị bệnh nghề nghiệp và khôi phục chức năng; du lịch, khách sạn, nhà hàng và các dịch vụ công cộng khác.
- Duy trì Công ty xi măng Hoàng Thạch là Công ty thành viên hạch toán độc lập và cổ phần hóa trong năm 2008;
- Chuyển Công ty Tư vấn đầu tư phát triển xi măng thành Công ty trách nhiệm hữu hạn 1 thành viên vào năm 2008.

Ngày 13 tháng 12 năm 2007 Thủ tướng chính phủ có quyết định số 193/2007/QD-TTg ban hành điều lệ tổ chức và hoạt động của Công ty mẹ - Tổng Công ty Công nghiệp Xi măng Việt Nam.