upsolution pos 데이터 크롤링 - 클라우드플레어 캡차로 인해 실패

lib/common.py

@@ -1,6 +1,8 @@
 # common.py
 import os, yaml
 import logging
+import time
+import glob
 
 def load_config():
     """
@@ -19,3 +21,11 @@ def get_logger(name):
         logger.addHandler(handler)
         logger.setLevel(logging.INFO)
     return logger
+
+def wait_download_complete(download_dir, ext, timeout=60):
+    for _ in range(timeout):
+        files = glob.glob(os.path.join(download_dir, f"*.{ext.strip('.')}"))
+        if files:
+            return files[0]
+        time.sleep(1)
+    raise TimeoutError("다운로드 대기 시간 초과")