Data Engineer dan Data Scientist

Saya pernah membaca, "Ilmuwan dapat membuat paper dengan penelitian selama 10 (sepuluh) tahun, teknisi yang akan membangun dan mengelola penerapannya."

Dalam perkembangan role dalam pengelolaan data saat ini, data engineer dan data scientist menjadi tambahan yang cukup menyita perhatian. Tak sedikit orang mencari tahu dan menambahkan ketiganya dalam skill-set yang mereka miliki.

Data engineer merupakan pengelola data yang mengembangkan dan membangun proses data sesuai alur kerja dan perangkat yang telah ditentukan oleh arsitek atau yang disebut dengan data pipeline. Mengatur ingestion data dari sumber data masuk ke arsitektur data, memastikan kualitas data,  melakukan transformasi data sesuai dengan kebutuhan dan menyediakan data mart yang akan dikonsumsi oleh perangkat analisis sebagai bahan pengambilan keputusan.

Data scientist mengambil bagian dalam pengelolaan metode analisis yang digunakan sebagai bahan pengambilan keputusan. Metode-metode analisis yang digunakan mengkonsumsi data yang dihasilkan oleh data engineer dimana masing-masing metode harus dapat dipertanggungjawabkan sumber datanya, lulus uji kualitas dan menggunakan data ditransformasikan sesuai dengan syarat penerapan metode. Pengetahuan mengenai arsitektur, uji kualitas dan metode transformasi merupakan nilai lebih seorang data scientist untuk dapat memberikan umpan balik sebagai evaluasi tata kelola data secara keseluruhan.

Keduanya memiliki porsi masing-masing dan memegang peranan dalam menunjang tata kelola bisnis tetap berjalan. Sebagian pekerjaan sudah dimiliki oleh karyawan meskipun belum ditetapkan role yang jelas, sebagian lagi merupakan pengembangan dari metode pendekatan.

Dunia terus berkembang dan keduanya adalah contoh nyata perkembangan role dalam dunia bisnis. Dunia yang semakin haus akan data.