Team system thông báo đêm ngày 11/08, rạng sáng ngày 12/08 cần off server 45 phút để làm gì đó liên quan tới sửa lỗi hệ thống. Ok, và đêm đó mọi chuyện diễn ra bình thường cho đến khi system báo đã on lại server
HuyPV kiểm tra dịch vụ, toang! Check log, không gọi được API, curl báo lỗi 6 - Could not resolve host
SSH vào gọi thử mấy link ra ngoài thấy đều không được. DNS trên server có vấn đề. Tiện thấy thời gian đang bị sai, báo lại team system và họ khắc phục nhanh chóng.
08 sáng kiểm tra tiếp lại dịch vụ, có đơn hàng trong MySQL rồi nhưng sao đéo thấy log trên MongoDB đâu nhỉ??? Xem error log không thấy gì. Thử insert vào MongoDB báo thành công. find cái mới nhất ra, đéo thấy cái vừa insert đâu. WTF mất đâu rồi, bảo sao ko thấy log gì cả. Dị vãi, báo lại nhờ system kiểm tra, cũng ko hiểu chuyện gì đang xảy ra. Insert vào ok nhưng ko thấy đâu
Kiểm tra kỹ lại thì ra lúc đêm bị sai thời gian (lớn hơn thời gian thực tế hiện tại) nên bản ghi mới nhất lúc nào cũng vẫn là bản ghi cũ tại thời điểm bị sai thời gian đó
Kinh nghiệm rút ra là sau khi tác động thay đổi server thì phải kiểm tra lại thời gian (chú ý cả múi giờ) và kết nối mạng ra bên ngoài