Unduh Data Saham Historis Tanpa Kehilangan Reproduksibilitas

Tulis kontrak ekspor terlebih dahulu

Tombol browser menyembunyikan asumsi. Ekspor tahan lama dimulai dengan spesifikasi yang dapat dibaca mesin yang mengidentifikasi semesta, cap waktu, sesi, bidang, penyesuaian, kelas sumber, dan cutoff.

Untuk banyak sekuritas, sertakan keanggotaan semesta titik waktu dan riwayat pengenal. Daftar simbol saat ini memperkenalkan bias kelangsungan hidup sebelum baris pertama diunduh.

Pilih CSV atau Parquet dengan sengaja

CSV portabel dan mudah diperiksa tetapi membutuhkan aturan tanggal, null, delimiter, encoding, dan presisi eksplisit. Parquet mempertahankan tipe dan mengompresi tabel analitik besar lebih efisien.

Kedua format membutuhkan manifes. Hash file, catat baris dan partisi, dan pisahkan hasil cakupan dari nilai pasar sehingga data hilang tidak pernah diubah menjadi nol.

• Gunakan cap waktu ISO-8601.
• Jaga null berbeda dari nol.
• Partisi ekspor besar secara dapat diprediksi.
• Verifikasi sesi pertama dan terakhir yang diminta.

Uji file yang dikirim

Periksa duplikat, kunci terurut, penjajaran interval, batas harga, volume tidak negatif, tanggal aksi korporasi, dan sesi yang diharapkan. Rekonsiliasi sampel dengan respons sumber mentah.

Unduhan yang dapat direproduksi tidak beku selamanya: koreksi dapat menghasilkan versi baru, tetapi file dan manifes sebelumnya harus tetap dapat diakses untuk eksperimen yang menggunakannya.