잡담: 2008년 5월 10일

회사에서 잠깐 공-_-포 체험을 했다.

어제 일담 땜빵처리한 코드를 제대로 적용하고 / 테스트 케이스도 생성하고 하려고 출근했다. 대충 2시간 정도 테스트 만들고 돌려보고 하니 잘 되는 것 같아서 커밋을 하려는데,

모든 커밋이 실패

뭔가 알 수 없는 메시지 ( e:\foo\bar\db\revs\57 을 열 수 없습니다 ) 라면서 commit 이 안된다. 그냥 별 문제 없지 않을까 하고 리파지터리 서버를 접속해 보는데 Generic host services가 죽었다는 메시지가 뜬다 — 이제 삽질의 시작.

svn 저장소 검사

svn 툴 중에 svnadmin 이라는 저장소에 대한 관리 기능을 담당하는 유틸리티가 있다. 이 녀석으로,

svnadmin verify path-to-repos

를 실행하면 각 revision 데이터에 관한 검사를 실행하는데, 7번 rev부터 시작해서 110 아래 쪽이 전부 없다 -_-;; 파일 탐색기에서도 안나온다 -_-;;;;;;;;;;;;;;

그리고 시스템 트레이 (윈도우 서버다) 에서 조용히 뜨는

e:\ 에 대해 CHKDSK를 실행해주십시오.

야이 -_-;;;; 그러고보니 이 RAID 작년에도 한 번 죽어서 하드 새로 구성했던 기억이 있는데 말이지 -_-;;;

CHKDSK 실행

대충 1시간 정도 CHKDSK가 실행되고 — 중간에 무지 수상쩍은 메시지도 몇 개 나오고 — CHKDSK /F /R 로 실행해서 강제로 복구하게 했는데, 그래도 복구가 되었는지 파일들이 다시 보이고 / Commit도 제대로 된다.

아 정말 1시간 가량의 공포체험이었다 -_-;; 사내에서 자동으로 소스를 백업해주긴하는데 그 간격이 2일인가? 그럴꺼고, 지금은 휴일이니 화요일날에나 보게될텐데 좀 심하게(…) 떨어야하긴 했다. 금요일에 작업한거 다시 동기화 시키는 일도 귀찮고.

여튼 다행스럽게도 복구가 되서 넘어가긴하는데, 저 RAID는 좀 의심하기 시작해봐야겠다 -_-;  단순무식한 RAID1 인데 왜 이러니 -_-;;; ((RAID1 은 두 개의 물리적인 HDD에 같은 내용을 동시에 쓰는 방식이다. 즉 두 HDD 중 하나만 살아있으면 어떻게든 동작하거나 복구할 수 있기 때문에 평균 실패 간격(MBTF)가 2배로 길어지게 되는 방식이다))