XenServer dom0 out of disk space

xen server

เมื่อเช้า upgrade kernel ของ VM หนึ่งใน CloudStack ซึ่งต้องมีการ restart VM แต่พอ restart ไปแล้วไม่สามารถ start ได้ ในใจคิดว่างานเข้าอีกแล้ว ลองตรวจดูคร่าวๆไล่ดูจาก status ต่างๆของ CloudStack ไปเจอว่า host XenServer ทั้งสองตัวแสดงสถานะเป็น Down

Screen Shot 2556-06-06 at 2.08.58 PM

ลองกด reconnect ดูก็ไม่ตอบสนองอะไร อาการแบบนี้เหมือน CloudStack ติดต่อ XenServer host ไม่ได้ แต่จากที่ลองดู VM ทั้งหมดยังทำงานอยู่ แสดงว่ามันไม่สามารถติดต่อ API ของ XenServer ได้

เมื่อลอง remote เข้าไปใน XenServer ลองใช้คำสั่ง xsconsole ดูก็ไม่สามารถติดต่อได้ ซึ่งจะไม่มีสถานะอะไรแสดงขึ้นมาให้เห็นเลย

ลองใช้ command line หลายๆคำสั่งอย่าง xe vm-list ก็จะพบ error ตามด้านล่าง
The server failed to handle your request, due to an internal error. The given message may give details useful for debugging the problem.
message: INTERNAL_ERROR: [ Http_client.Http_request_rejected("{ frame = false; method = POST; uri = /; query = [ ]; content_length = [ ]; transfer encoding = ; version = 1.0; cookie = [ ]; task = ; subtask_of = ; content-type = ; user_agent = xen-api-libs/1.0 }") ]

ลองดู memory usage ด้วยคำสั่ง freemem ก็ไม่เจออะไรผิดปกติ แต่พอลองดู disk usage ก็เจอว่า root partition ใช้พื้นที่ดิสก์จนเต็ม

[root@node01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 4.0G 3.9G 0 100% /
none 380M 0 380M 0% /dev/shm

Continue reading “XenServer dom0 out of disk space”