Tahap 5: Process

Pengantar

Tahap ini menjelaskan pembersihan data dan persiapannya untuk analisis.
Tahap ini terdiri dari sub-proses yang memeriksa, membersihkan, dan mengubah data masukan, sehingga dapat dianalisis dan disebarluaskan sebagai keluaran statistik.
Tahap ini dapat diulang beberapa kali jika diperlukan. Untuk output statistik yang dihasilkan secara teratur, fase ini terjadi di setiap iterasi.
Sub-proses dalam tahap ini dapat diterapkan pada data dari sumber statistik dan non-statistik.
Tahap “Proses” dan “Analisis” dapat dilakukan secara berulang dan paralel.
Analisis dapat mengungkapkan pemahaman yang lebih luas tentang data, yang mungkin membuat jelas bahwa pemrosesan tambahan diperlukan.
Aktivitas dalam tahap “Proses” dan “Analisis” dapat dimulai sebelum tahap “Mengumpulkan” selesai.
Tahap ini memungkinkan kompilasi hasil sementara di mana ketepatan waktu menjadi perhatian penting bagi pengguna, dan meningkatkan waktu yang tersedia untuk analisis.
Tahap ini dibagi menjadi delapan sub-proses, yang mungkin berurutan, dari kiri ke kanan, tetapi juga dapat terjadi secara paralel, dan dapat berulang.

Tahap pengolahan

Menentukan seberapa jauh tingkat akurasi dan ketepatan data statistik yang dihasilkan
Mendeskripsikan persiapan data sebelum data tersebut dianalisis dan didiseminasikan sebagai output kegiatan statistik
Meliputi integrasi data, penyuntingan (editing dan imputasi), penyahihan (validation), serta menghitung penimbang
Workflow proses pengolahan data:

Integrasi data
Penyuntingan
Menghitung penimbang
Estimasi dan agregrasi

Aktivitas-aktivitas yang terdapat pada tahap ini dapat dilakukan secara paralel dan berulang

5.1. Integrasi data

Mengintegrasikan data dari satu atau beberapa sumber.
Integrasi data dapat mencakup:
- menggabungkan data dari berbagai sumber, sebagai bagian dari pembuatan statistik terintegrasi seperti akun nasional
- mencocokkan/mencatat rutinitas keterkaitan, dengan tujuan menghubungkan data mikro atau makro dari berbagai sumber
- penentuan prioritas, ketika dua atau lebih sumber berisi data untuk variabel yang sama, dengan nilai yang mungkin berbeda
Integrasi data bertujuan untuk menggabungkan data yang berasal dari dua atau lebih sumber data, baik bersumber dari internal maupun eksternal.
Data internal adalah data yang diperoleh dari dalam, sedangkan data eksternal adalah data yang diperoleh dari luar organisasi penyelenggara kegiatan statistik.
Data masukan dapat berasal dari campuran sumber data eksternal atau internal, dan berbagai mode pengumpulan, termasuk ekstrak data administratif.
Hasil integrasi data adalah sekumpulan data yang terhubung.
Integrasi data dapat dilakukan kapan saja dalam fase ini, sebelum atau sesudah sub-proses lainnya.
Setelah integrasi, data dapat dianonimkan untuk membantu melindungi kerahasiaan.

5.2. Classify and code

Mengklasifikasikan dan memberi kode pada data masukan.
Melakukan coding dan klasifikasi data
Melakukan verifikasi/pemeriksaan terhadap coding & klasifikasi yang telah dilakukan
Menerjemahkan data ke dalam konsep SNA (System of National Accounts)
Sebagai contoh, rutinitas pengkodean otomatis (atau klerikal) dapat menetapkan kode numerik untuk respons teks sesuai dengan skema klasifikasi yang telah ditentukan sebelumnya.

5.3. Review and validate

Memeriksa data untuk mencoba mengidentifikasi potensi masalah, kesalahan dan ketidaksesuaian seperti outlier, item yang tidak merespons, dan kesalahan pengkodean.
Melakukan validasi data.
Proses ini dapat dijalankan secara berulang dan biasanya dalam urutan yang ditetapkan.
Proses ini dapat menandai data untuk pemeriksaan atau pengeditan otomatis atau manual.
Peninjauan dan validasi dapat diterapkan pada data dari semua jenis sumber, sebelum dan sesudah integrasi.
Meskipun validasi diperlakukan sebagai bagian dari fase “Proses”, dalam praktiknya, beberapa elemen validasi dapat terjadi bersamaan dengan kegiatan pengumpulan, terutama untuk mode seperti pengumpulan web.
Meskipun subproses ini berkaitan dengan deteksi kesalahan aktual atau potensial, setiap kegiatan koreksi yang benar-benar mengubah data dilakukan di subproses 5.4.
Menyusun laporan tentang data error.

5.4. Mengedit dan memberikan imputasi

Proses ini terdiri dari:
- Melakukan edit/perbaikan data
- Melakukan imputasi data
- Mendapatkan persetujuan terhadap perbaikan & imputasi data yang telah dilakukan
- Proses editing meliputi pemeriksaan:
  - kelengkapan pengisian
  - kejelasan isian
  - kesalahan isian
  - konsistensi isian dan relevansi jawaban
  - kewajaran isian
Ketika data dianggap salah, hilang atau tidak dapat diandalkan, nilai baru dapat dimasukkan dalam subproses ini.
Proses pemeriksaan dan memperbaiki penulisan yang salah/kurang jelas dan pemberian kode pada isian dokumen hasil pencacahan dengan memperhatikan kaidah-kaidah editing dan coding (penyuntingan/ penyandian) yang telah ditetapkan.
Hasil editing dan coding sangat mempengaruhi kualitas data dan proses pengolahan selanjutnya.
Istilah pengeditan dan imputasi mencakup berbagai metode untuk melakukan hal ini, yang sering kali menggunakan pendekatan berbasis aturan. Langkah-langkah spesifik biasanya meliputi:
- penentuan apakah akan menambah atau mengubah data;
- pemilihan metode yang akan digunakan;
- menambahkan/mengubah nilai data;
- menulis nilai data baru kembali ke kumpulan data, dan menandainya sebagai data yang telah diubah;
- pembuatan metadata pada proses pengeditan dan imputasi.
Sebagai contoh: Survei kepuasan masyarakat (SKM) yang diselenggarakan dengan cara swacacah bisanya akan didapatkan dokumen(kuesioner) survei yang berisi tulisan tangan baik itu pilihan ataupun pertanyaan terbuka dari responden, dalam hal ini yang paling sering dilakukan untuk mempermudah pengolahan adalah mengubah pilihan (centang/ silang) pada pertanyaan tertutup menjadi kode(angka/ huruf).

5.5. Menurunkan variabel dan unit baru

Tahap ini mendapatkan data untuk variabel dan unit yang secara eksplisit tidak disediakan dalam kumpulan data, tetapi diperlukan untuk menghasilkan output yang diperlukan.
Tahap ini menghasilkan variabel baru dengan menerapkan rumus aritmatika pada satu atau beberapa variabel yang sudah ada di dalam kumpulan data, atau menerapkan asumsi model yang berbeda.
Menghitung variabel turunan.
Tahap ini mungkin perlu dilakukan secara berulang, karena beberapa variabel turunan mungkin didasarkan pada variabel turunan lainnya.

5.6. Menghitung bobot

Tahap ini membuat bobot untuk catatan data unit sesuai dengan metodologi yang dibuat di sub proses 2.5 (Desain pengolahan dan analisis).
Dalam kasus survei sampel, bobot bisa digunakan untuk “mengerek” hasil agar bisa mewakili populasi target, atau untuk menyesuaikan non-respons dalam total pencacahan.
Dalam situasi lain, variabel mungkin perlu diberi bobot untuk tujuan normalisasi.
Mendapatkan tolok ukur eksternal dan melakukan estimasi kalibrasi

5.7. Menghitung agregat

Tahap ini membuat data agregat dan total populasi dari data mikro atau agregat tingkat yang lebih rendah.
Menghitung data agregat.
Menggunakan penimbang yang telah ditetapkan.
Menyusun data set turunan untuk kebutuhan analisis khusus.
Melakukan estimasi untuk neraca nasional.
Melakukan rekonsiliasi neraca nasional dan regional.
Dalam kasus survei sampel, kesalahan pengambilan sampel juga dapat dihitung dalam sub-proses ini, dan dikaitkan dengan agregat yang relevan.

5.8. Menyelesaikan file data

Menyiapkan data untuk dilanjutkan ke tahap berikutnya.
Tahap ini menyatukan hasil dari sub-proses lain dalam tahap ini dan menghasilkan file data (biasanya berupa data makro), yang digunakan sebagai input untuk fase “Analisis”.
Menyerahkan data final untuk digunakan di tahap analisis.
Terkadang file ini dapat berupa file perantara dan bukan file akhir, terutama untuk proses bisnis yang memiliki tekanan waktu yang tinggi, dan persyaratan untuk menghasilkan estimasi awal dan akhir.