再現性を失わずに株価履歴をダウンロードするガイド
数か月後に同じデータセットを説明可能にする必要がある購入者向けのダウンロードチェックリスト。
株価履歴を安全にダウンロードするには、証券、日付範囲、間隔、市場セッション、タイムゾーン、生または調整済みの値、企業活動、および出力形式を指定します。CSVまたはParquetファイルと共に、クエリ、ソース、取得時刻、スキーマバージョン、行数、期待されるセッションカバレッジ、ファイルハッシュ、および既知の例外を記録したマニフェストを保存します。
最初にエクスポート契約を書く
ブラウザボタンは仮定を隠します。耐久性のあるエクスポートは、ユニバース、タイムスタンプ、セッション、フィールド、調整、ソースクラス、およびカットオフを識別する機械可読仕様から始まります。
複数の証券については、時点ベースのユニバースメンバーシップと識別子履歴を含めます。現在のシンボルリストは、最初の行がダウンロードされる前に生存バイアスを導入します。
CSVまたはParquetを慎重に選択する
CSVはポータブルで検査しやすいですが、明示的な日付、null、区切り文字、エンコーディング、および精度ルールが必要です。Parquetは型を保持し、大きな分析テーブルをより効率的に圧縮します。
どちらの形式でもマニフェストが必要です。ファイルをハッシュ化し、行とパーティションを記録し、カバレッジ結果を市場値から分離して、欠落データがゼロに変換されないようにします。
- ISO-8601タイムスタンプを使用する。
- nullをゼロと区別して保持する。
- 大きなエクスポートを予測可能にパーティション化する。
- 要求された最初と最後のセッションを確認する。
配信されたファイルをテストする
重複、ソートされたキー、間隔の整合性、価格範囲、非負の出来高、企業活動の日付、および期待されるセッションを確認します。サンプルを生のソース応答と照合します。
再現可能なダウンロードは永遠に凍結されるわけではありません。訂正は新しいバージョンを作成する可能性がありますが、以前のファイルとマニフェストは、それを使用した実験のためにアドレス可能のままにする必要があります。
Key takeaways
- 01エクスポート前にユニバースと調整ビューを定義する。
- 02各ファイルと共にマニフェストを送信する。
- 03期待されるセッションと識別子を検証する。
- 04訂正をアーティファクトを上書きするのではなくバージョン管理する。