solorpower_crawler/DEVELOPMENT.md

윈도우 개발 환경 가이드

1. 개요

이 프로젝트는 Windows와 NAS(리눅스) 환경 모두에서 동작하도록 구성되어 있습니다. NAS 배포 전 Windows 환경에서 테스트 및 데이터 복구를 수행할 수 있습니다.

2. 가상환경 (Windows)

윈도우용 가상환경은 venv_win 폴더에 구성되어 있습니다.

# 가상환경 활성화
.\venv_win\Scripts\activate

# 의존성 설치
pip install -r requirements.txt

3. 개발 도구 (tools 폴더)

tools/ 폴더에는 데이터 검증 및 복구를 위한 유틸리티 스크립트가 포함되어 있습니다.

3.1 DB 데이터 조회 (check_db.py)

특정 시간대의 Supabase 데이터가 정상적으로 저장되었는지 확인합니다.

• UTC 기준으로 조회하므로 KST 변환에 유의하세요.
• 사용법:

  python tools/check_db.py
  

3.2 로그 기반 데이터 복구 (recover_from_log.py)

cron.log 등의 로그 파일을 파싱하여 누락된 데이터를 DB에 다시 채워넣습니다.

• clean_recover.py 기능을 개선하여 포함했습니다.
• 사용법:

  python tools/recover_from_log.py
  

4. 실행 및 테스트

메인 크롤러 실행:

python main.py

GUI 대시보드 실행 (테스트용):

python crawler_gui.py

5. 배포 시 주의사항

• crawler_manager.py의 site_data.db는 로컬에 생성되므로 배포 시 제외하거나 초기화 상태로 배포하세요.
• .env 파일의 API 키가 만료되지 않았는지 확인하세요.