Khi còn là cầu thủ, ông Mai Đức Chung từng khoác áo các đội bóng: Xe ca Hà Nội, Tổng cục Đường sắt và cũng từng được gọi vào ĐTQG trong thập kỷ 70 và 80 của thế kỷ trước. Thế nhưng, người hâm mộ bóng đá Việt Nam lại biết đến ông nhiều hơn sau này trong vai trò HLV, đặc biệt là khi ông dẫn dắt đội tuyển bóng đá nữ Việt Nam và các đội tuyển trẻ.
Sau khi chia tay HLV Steve Darby, kể từ năm 2003, HLV Mai Đức Chung được VFF giao trọng trách dẫn dắt đội tuyển bóng đá nữ quốc gia. Ngay lập tức, ông Chung “xe ca” chứng tỏ mình rất mát tay với các cô gái Việt Nam khi giúp đội 2 lần liên tiếp đăng quang ngôi vô địch tại các kỳ SEA Games 2003 và SEA Games 2005. Với thành tích nổi bật đó, HLV Mai Đức Chung được bầu chọn là HLV tiêu biểu nhất Việt Nam năm 2005.
Trong các năm 2005-2007, HLV Mai Đức Chung là trợ lý số 1 cho HLV Alfred Riedl ở đội tuyển quốc gia nam. Năm 2007, khi ông Alfred Riedl vắng mặt vì phải trải qua ca phẫu thuật ghép thận ở Áo, HLV Mai Đức Chung được tin tưởng giao phó trách nhiệm dẫn dắt đội tuyển Olympic Việt Nam và giành được một số thắng lợi quan trọng trước các đối thủ Tây Á như Olympic Libăng và Olympic Oman tại vòng loại Olympic Bắc Kinh 2008. Chính vì thế, ở vòng sơ loại cuối cùng của Olympic Bắc Kinh 2008, HLV trưởng Alfred Riedl đã giao cho HLV Mai Đức Chung quyền chỉ đạo đội tuyển Olympic.
Sau thất bại trong trận bán kết SEA Games 24 năm 2007 trước U23 Myanmar, VFF đã quyết định sa thải HLV Riedl còn ông Mai Đức Chung được “đóng thế” dẫn dắt đội U23 Việt Nam thi đấu trận tranh HCĐ với U23 Singapore (U23 Việt Nam thua 0-5).
Tháng 10 năm 2008, HLV Mai Đức Chung lại được giao dẫn dắt đội tuyển U22 Việt Nam tham dự Cúp Merdeka ở Malaysia. Tại giải đấu này, các học trò của HLV Mai Đức Chung đã thi đấu xuất sắc và thủ hòa với ĐTQG Malaysia 0-0 sau 120 phút thi đấu chính thức để rồi sau đó giành chiến thắng 6-5 bằng thi đá luân lưu 11m trong trận chung kết.
“Mát tay” với bóng đá nữ và bóng đá trẻ như vậy nhưng phải khi được mời làm HLV trưởng CLB Thanh Hóa vào đầu mùa giải V-League 2013, ông Chung “xe ca” mới thể hiện được sự mát tay của mình ở sân chơi V-League .
Ngay trong mùa giải đầu tiên dẫn dắt đội bóng xứ Thanh, HLV Mai Đức Chung đã giúp Thanh Hóa cán đích ở vị trí thứ 5, thành tích tốt nhất của đội bóng xứ Thanh kể từ ngày giành quyền góp mặt ở giải đấu hạng cao nhất của bóng đá Việt Nam.
Tại V-League 2014, với chiến thắng 2-1 trước SLNA ngay trên sân Vinh ở vòng đấu thứ 3 vừa qua, thầy trò HLV Mai Đức Chung đã vươn lên dẫn đầu bảng xếp hạng.