재현성을 잃지 않고 과거 주식 데이터 다운로드하기
몇 달 후에도 동일 데이터셋을 설명할 필요가 있는 구매자를 위한 다운로드 체크리스트.
과거 주식 데이터를 안전하게 다운로드하려면 증권, 날짜 범위, 간격, 시장 세션, 시간대, 원시 또는 조정 값, 기업 활동, 출력 형식을 지정하세요. CSV 또는 Parquet 파일 옆에 쿼리, 출처, 조회 시간, 스키마 버전, 행 수, 예상 세션 범위, 파일 해시, 알려진 예외를 포함한 매니페스트를 저장하세요.
먼저 내보내기 계약 작성
브라우저 버튼은 가정을 숨깁니다. 견고한 내보내기는 기호 범위, 타임스탬프, 세션, 필드, 조정, 출처 클래스, 컷오프를 식별하는 기계 판독 명세로 시작합니다.
여러 증권의 경우 시점별 범위 멤버십과 식별자 이력을 포함하세요. 현재 기호 목록은 첫 행 다운로드 전에 생존 편향을 도입합니다.
CSV 또는 Parquet 신중히 선택
CSV는 휴대 가능하고 검사하기 쉽지만 명확한 날짜, 널, 구분자, 인코딩, 정밀도 규칙이 필요합니다. Parquet은 타입을 보존하고 대규모 분석 테이블을 더 효율적으로 압축합니다.
두 형식 모두 매니페스트가 필요합니다. 파일 해시, 행 및 파티션 기록, 범위 결과를 시장 값과 분리해 누락 데이터를 0으로 변환하지 마세요.
- ISO-8601 타임스탬프 사용
- 널과 0을 구분 유지
- 대용량 내보내기 예측 가능하게 파티션
- 요청한 첫 세션과 마지막 세션 확인
전달된 파일 테스트
중복, 정렬된 키, 간격 정렬, 가격 범위, 음수 아닌 거래량, 기업 활동 날짜, 예상 세션을 점검하세요. 원본 출처 응답과 샘플을 대조하세요.
재현 가능한 다운로드는 영구 동결이 아닙니다: 정정은 새 버전을 만들 수 있지만 이전 파일과 매니페스트는 사용한 실험에 대해 접근 가능해야 합니다.
Key takeaways
- 01내보내기 전에 범위와 조정 뷰 정의
- 02모든 파일에 매니페스트 첨부
- 03예상 세션과 식별자 검증
- 04정정은 버전 관리, 덮어쓰기 금지