AWS Academy Lab Project - Cloud Data Pipeline Builder dirancang untuk memberikan pengalaman praktis kepada peserta pelatihan dalam membangun pipeline data analytics di AWS. Dalam proyek ini, peserta ditantang untuk merancang dan mengimplementasikan pipeline yang mampu mengumpulkan, mentransformasi, menganalisis, dan memvisualisasikan data clickstream dari situs web. Pipeline yang dibangun harus mencerminkan prinsip-prinsip AWS Well-Architected Framework dan menghasilkan wawasan bermakna yang mendukung pengambilan keputusan bisnis.

Setelah menyelesaikan proyek ini, peserta akan mampu:

• Mendeploy pipeline data analytics di AWS yang mendukung analisis data clickstream dari situs web.
• Mentransformasi data clickstream sebelum mencapai lapisan visualisasi.
• Menggunakan layanan AWS untuk menganalisis data clickstream.
• Merancang mekanisme pelaporan dashboard untuk analisis data clickstream.
• Menyesuaikan dan mengoptimalkan pipeline data analytics sesuai kebutuhan. 

1. Perencanaan Proyek dan Desain Arsitektur

• Membuat diagram arsitektur untuk pipeline data.
• Menyusun estimasi biaya implementasi di AWS.
• Latihan: Merancang arsitektur pipeline data yang efisien dan skalabel.

2. Pengumpulan dan Ingesti Data Clickstream

• Teknik pengumpulan data clickstream dari situs web.
• Menggunakan layanan AWS seperti Amazon Kinesis untuk ingest data real-time.
• Latihan: Membangun solusi ingest data clickstream dengan Amazon Kinesis.

3. Transformasi dan Pemrosesan Data

• Proses ETL (Extract, Transform, Load) untuk data clickstream.
• Menggunakan AWS Glue untuk transformasi data.
• Latihan: Menerapkan job ETL di AWS Glue untuk membersihkan dan memformat data.

4. Penyimpanan Data yang Dioptimalkan

• Memilih solusi penyimpanan yang tepat: Amazon S3, Amazon Redshift.
• Strategi partisi dan pengindeksan untuk akses data yang efisien.
• Latihan: Mengonfigurasi penyimpanan data yang dioptimalkan untuk analisis cepat.

5. Analisis Data Menggunakan Layanan AWS

• Menggunakan Amazon Athena untuk query data langsung di S3.
• Pengenalan Amazon QuickSight untuk visualisasi data.
• Latihan: Membuat laporan dan dashboard interaktif untuk menampilkan wawasan dari data clickstream.

6. Keamanan dan Kepatuhan dalam Pengelolaan Data

• Implementasi enkripsi data at-rest dan in-transit.
• Pengaturan kebijakan akses menggunakan AWS Identity and Access Management (IAM).
• Latihan: Menerapkan kontrol keamanan pada setiap komponen pipeline data.

7. Optimasi dan Penyesuaian Pipeline Data

• Pemantauan kinerja pipeline menggunakan Amazon CloudWatch.
• Teknik optimasi biaya dan performa.
• Latihan: Menyesuaikan komponen pipeline untuk meningkatkan efisiensi dan mengurangi biaya operasional.

8. Presentasi dan Dokumentasi Proyek

• Menyusun dokumentasi teknis dari arsitektur dan implementasi pipeline.
• Mempersiapkan presentasi untuk memaparkan solusi yang dibangun.
• Latihan: Membuat demo atau presentasi video yang menjelaskan fungsi dan manfaat dari pipeline data yang telah diimplementasikan.