Tugas Makalah Sistem Informasi Manajemen OLC-1 Big Data dan Implementasi Dalam StartUp Gojek PDF

Preview

Summary

Tugas Makalah Sistem Informasi Manajemen OLC-1 Big Data dan Implementasi Dalam StartUp Gojek Dosen Pengajar: Deborah Herby, S.Kom., M.MSI Disusun Oleh: Nama: Fendyanto NIM: 31190038 FAKULTAS TEKNOLOGI DAN DESAIN UNIVERSITAS BUNDA MULIA 2020 – 2021 DAFTAR ISI DAFTAR ISI .................................

Description

Tugas Makalah Sistem Informasi Manajemen

OLC-1

Big Data dan Implementasi Dalam StartUp Gojek

Dosen Pengajar: Deborah Herby, S.Kom., M.MSI

Disusun Oleh: Nama: Fendyanto NIM: 31190038

FAKULTAS TEKNOLOGI DAN DESAIN UNIVERSITAS BUNDA MULIA 2020 – 2021

DAFTAR ISI DAFTAR ISI .............................................................................................................................ii Kata Pengantar ......................................................................................................................... iii Pengenalan Big Data .................................................................................................................. 1 1.1

Sejarah Big Data.......................................................................................................... 1

1.2

Definisi Big Data ......................................................................................................... 2

1.2.1 Sumber Perolehan Data ........................................................................................... 2 1.2.2 Karakteristik Big Data ............................................................................................. 3 1.2.3 Cara Kerja Big Data ................................................................................................ 4 Analisa Penggunaan Big Data dalam Gojek .............................................................................. 7 2.1

Pengenalan Gojek dan Big Data.................................................................................. 7

2.1.1 Profil Go-jek ............................................................................................................ 7 2.1.2 Implementasi Big Data dalam Gojek....................................................................... 8 2.1.3 Ekosistem Big Data Dalam Go-jek ......................................................................... 9 2.1.4 Dampak Penggunaan Big Data dalam Gojek ........................................................ 10 2.1.5 Tiga Tujuan utama Big Data Gojek menurut Nadiem Makariem ......................... 12 2.2

Big Data dan North Star Metrik Gojek ..................................................................... 12

2.2.1 Core Value Go-Jek ................................................................................................ 14 2.2.2 North Star Metrik Go-Jek ...................................................................................... 14 Kesimpulan .............................................................................................................................. 15 Daftar Pustaka .......................................................................................................................... 16

DAFTAR GAMBAR gambar gambar gambar gambar

1 (Karakteristik Big Data) 2 (Arsitektur Sistem Informasi Data Tradisional) 3 (Arsitektur Sistem Informasi Big Data) 4 (Gojek Data Architecture)

ii

3 5 5 9

Kata Pengantar

Dengan memanjatkan puji dan syukur ke hadirat Tuhan Yang Maha Esa, yang telah melimpahkan rahmat, hidayah, dan inayah-Nya kepada kami, sehingga saya dapat menyelesaikan makalah dengan judul BIG DATA dan IMPLEMENTASI DALAM STARTUP GO-JEK. Makalah ini telah saya susun dengan maksimal dan mendapatkan bantuan dari berbagai pihak dan sumber sehingga dapat memperlancar pembuatan makalah ini. Untuk itu saya menyampaikan banyak terima kasih kepada semua pihak yang telah berkontribusi dalam pembuatan makalah ini. Terlepas dari semua itu, saya menyadari sepenuhnya bahwa masih ada kekurangan baik dari segi susunan kalimat maupun tata bahasanya. Oleh karena itu dengan tangan terbuka saya menerima segala saran dan kritik dari pembaca agar kami dapat memperbaiki makalah ilmiah ini. Akhir kata saya berharap semoga makalah ilmiah tentang limbah dan manfaatnya untuk masyarakan ini dapat memberikan manfaat maupun inpirasi terhadap pembaca.

Tangerang, 14 Februari 2020

Penyusun

iii

Pengenalan Big Data 1.1 Sejarah Big Data Sebelum kita mempelajari lebih jauh mengenai Big Data, tentunya kita perlu memahami asal muasal dan sejarah perkembang dari Big Data, adapun dalam topik ini saya akan memberikan urutan sejarah perkembangan Big Data secara singkat.

1944 -

Fremont Rider, Pustakawan universitas Wesleyan. Dia memperkirakan bahwa Perpustakaan yang ada di amerika serikat ukurannya meningkat dua kali lipat setiap 16 tahun

1961 -

Derek Price. Dia mendiagramkan pertumbuhan pengetahuan ilmiah dengan cara melihat jumlah pertumbuhan jurnal ilmiah dan makalah

1967 -

B.A. Marron dan P.A.D. De Maine menerbitkan "Automatic data compression" dalam Komunikasi dari ACM, yang menyatakan bahwa "ledakan informasi” tercatat dalam beberapa tahun terakhir membuatnya penting bahwa persyaratan penyimpanan untuk semua informasi harus dijaga agar tetap minimum.

1971 -

Arthur Miller Menulis dalam “The Assault on Privacy” menyatakan, "Terlalu banyak informasi yang harus diukur dari seseorang, sehingga jumlah bit kapasitas informasi orang tersebut tidak sebanding dengan jumlah bit kapasitas tempat penyimpanan berkas tersebut".

1975 -

Departemen Pos dan Telekomunikasi di Jepang mulai melakukan Arus Informasi Sensus, pelacakan volume informasi yang beredar di Jepang (ide pertama kali diusulkan dalam makalah 1969)

1980 -

I.A. Tjomsland memberikan ceramah berjudul "Where do we go from here?" Di IEEE Keempat Symposium on Mass Storage Systems, dia mengatakan "Mereka yang terkait dengan perangkat penyimpanan lama menyadari bahwa Hukum parkinson Pertama dapat diparafrasekan untuk menggambarkan Industry kami 'Data mengembang untuk mengisi ruang yang tersedia'.

1981 -

Kantor Pusat statistic hungaria memulai proyek penelitian untuk menjelaskan informasi indsutri negara, termasuk mengukur Volume informasi dalam bit.

1990 -

Peter J. Denning menerbitkan " Saving All the Bits " (PDF) dalam American Scientist . Mengatakan Denning: "[keharusan bagi para ilmuwan] untuk menyimpan semua bit hasil penemuan ke dalam sebuah perangkat penyimpanan bervolume besar untuk memprediksi pola tanpa memahami arti dari pola tersebut.

1

1996 -

Penyimpanan digital menjadi tempat penyimpanan yang lebih hemat biaya untuk menyimpan data daripada kertas menurut RJT Morris dan BJ Truskowski, dalam " The Evolution of Storage Systems ," IBM Systems Journal

1997 -

Michael Cox dan David Ellsworth menerbitkan tentang Visualisasi set data umumnya cukup besar, membebani kapasitas memori utama, disk lokal, dan bahkan disk jarak jauh. Dan mereka menyebutnya masalah BIG DATA.

2000 -

Peter Lyman dan Hal R. Varian di UC Berkeley menerbitkan bahwa pada tahun 1999, dunia menghasilkan sekitar 1,5 exabytes informasi unik, atau sekitar 250 megabytes untuk setiap pria, wanita dan anak di bumi

2005 -

Hadoop, sebuah open-source software untuk mengumpulkan dan menganalisa data dikembangkan pada tahun yang sama.

1.2 Definisi Big Data Secara umum big data dapat diartikan sebagai sebuah kumpulan data yang berukuran sangat besar (volume), sangat cepat berubah/bertumbuh (velocity), hadir dalam beragam bentuk/format (variety), serta memiliki nilai tertentu (value), dengan catatan jika berasal dari sumber yang akurat (veracity). Hal utama yang membedakan big data dengan kumpulan data konvensional terletak pada mekanisme pengelolaannya. Sistem basis data relasional yang saat ini umum digunakan, sudah dirasakan tidak mampu menangani kompleksitas big data secara optimal 1.2.1 Sumber Perolehan Data Dilihat melalui kacamata riset-riset ilmiah terkini, sumber-sumber perolehan big data dapat dikelompokkan ke dalam tiga sumber utama, yaitu: media sosial dan blogs, lalu lintas data (secara eksternal/internal), dan mesin temu balik informasi (search engine). Media sosial memiliki kontribusi yang sangat besar sebagai sumber data 'tersembunyi' yang sangat cepat berubah dan hadir dalam berbagai formatnya, baik berupa teks, gambar maupun video (multimedia). Digitalisasi media juga merupakan salah satu sumber pendukung data, sebagai contoh Dulu mungkin Anda hanya membaca buku dalam bentuk fisik. Sekarang sudah ada layanan seperti Kindle yang memungkinkan Anda untuk membaca eBook.

2

Amazon juga pasti mencatat buku apa saja yang Anda baca agar mereka bisa merekomendasikan buku yang sesuai dengan apa yang Anda baca. 1.2.2 Karakteristik Big Data Terdapat 3 dimensi awal Big Data, yaitu 3V : Volume, Variety, dan Velocity.

gambar 1 (Karakteristik Big Data)

a. Volume : Big Data dirancang untuk memproses data dengan volume/ukuran yang sangat besar. Mungkin karakteristik ini yang paling mudah dimengerti karena besarnya data. Volume juga mengacu pada jumlah massa data, bahwa organisasi berusaha untuk memanfaatkan data untuk meningkatkan pengambilan keputusan yang banyak perusahaan di banyak negara. Volume data juga terus meningkat sehingga tidak dapat diprediksi jumlah pasti dan juga ukuran dari data sekitar lebih kecil dari petabyte sampai zetabyte. b. Variety : Big Data dirancang untuk memproses berbagai jenis data yang tersedia. Jenis data tradisional yang awalnya terstrukur, namun seiring dengan perkembangan zaman, semakin banyak pula data yang semakin tidak terstruktur. Data yang belum terstruktur seperti text, audio, dan file lainnya, sehingga data seperti ini memerlukan waktu lebih lama untuk diproses agar dapat diketahui arti dari datadata tersebut.

3

c. Velocity : Big Data memiliki kecepatan yang sangat cepat, dimana data diterima dan mungkin langsung digunakan. Biasanya kecepatan tertinggi aliran data langsung dialirkan langsung ke memori dibandingkan yang ditulis ke disk. Internet menjadikan Big Data dapat beroperasi secara nyata atau mendekati waktu nyata dan akan membutuhkan evaluasi dan tindakan secara real time. 1.2.3 Cara Kerja Big Data Dalam perusahaan, Big Data digunakan untuk mendapatkan banyak ide untuk melakukan perencanaan perusahaan. Berikut adalah 3 langkah cara kerja Big Data secara umum. a. Integrasi Data : Big Data memerlukan integrasi data yang cukup rumit, berbeda dengan data tradisional yang bisa ditangani dengan ETL (Extract, Transform, Load). Alasannya karena Big Data terdiri dari sekumpulan input yang berbeda-beda dan harus diproses sebelum benar-benar bisa diolah. Misalkan client kita mempunyai data berupa komentar di ruang public, foto-foto di media sosial, atau bahkan traffic website. Data-data tersebut harus disusun sesuai dengan format yang seragam terlebih dahulu sebelum dapat diproses lebih lanjut. b. Manage : Big Data akan memanage data yang telah dikumpulkan dalam satu tempat penyimpanan. Salah satu framework umum yang digunakan untuk mengolah data berukuran besar secra terdistribusi adalah Hadoop. c. Analisis Data : Big Data menggunakan machine learning dan artificial intelligence sehingga data-data bisa dianalisis dengan baik. Beberapa teknik dalam analisis Big Data diantaranya:  Analisis Teks, merupakan proses menganalisis data teks (unstructured-data) seperti blog, email, forum, tweet, forum dan bentuk lainnya.

4

 Data Minning, merupakan suatu proses menemukan hubungan yang berarti, pola, dan kecenderungan dari sekumpulan besar data dengan menggunakan teknik pengenalan pola seperti statisik dan matematika.  Machine Learning  Analisis Prediksi  Analisis Statistik  NLP (Natural Language Processing)

gambar 2 (Arsitektur Sistem Informasi Data Tradisional)

gambar 3 (Arsitektur Sistem Informasi Big Data)

Untuk Big Data, digunakan teknik yang dikenal sebagai Map Reduce, memfilter data berdasarkan pada data yang spesifik pada strategi penemuan. Setelah data yang difilter ditemukan, maka akan dianalisis secara langsung, dimasukkan ke dalam unstructured database yang lain, dikirimkan ke dalam perangkat mobile atau digabungkan ke dalam lingkungan data warehouse tradisional dan berkolerasi pada data terstruktur.

5

Namun, setelah proses Map Reduce ada kemungkinan akan terjadi reduksi hasil dalam lingkungan data warehouse sehingga dapat memanfaatkan pelaporan business intelligence, statistik, semantik, dan kemampuan korelasi yang biasa. Akan sangat ideal untuk memiliki kemampuan analitik yang mengkombinasikan perangkat BI bersamaan dengan visualisasi big data dan kemampuan query. Kedua, untuk memfasilitasi analisis dalam laingkungan Hadoop, lingkungan sandbox dapat dibuat.

6

Analisa Penggunaan Big Data dalam Gojek 2.1 Pengenalan Gojek dan Big Data Go-jek mempunyai tim khusus untuk mengelola Big Data mereka. Dimana tugas ini diserahkan pada divisi Bussines Intellingence yang di dalamnya berisi orangorang dengan kemampuan analisa data yang baik. Crystal Widjaja yang menjabat sebagai SVP Bussines Intellingence Go-Jek Indonesia mengatakan bahwa mereka bertugas membangun fondasi data. 2.1.1 Profil Go-jek Gojek merupakan sebuah perusahaan berbasis Start-Up yang menjadi platform berbentuk aplikasi transportasi umum online bagi masyarakat di Indonesia. Terhitung sudah sepuluh tahun Gojek berdiri sejak 2010.

Berikut 16 produk jasa yang tersedia dalam aplikasi Gojek hingga saat ini : •

Go-Ride

•

Go-Shop

•

Go-Car

•

Go-Mart

•

Go-Bluebird •

Go-Box

•

Go-Food

•

Go-Massage

•

Go-Send

•

Go-Clean

•

Go-Points

•

Go-Glam

•

Go-Pulsa

•

Go-Tix

•

Go-Bills

•

Go-Auto

Melihat dari beragamnya produk jasa yang ditawarkan, maka tidak heran apabila Go-jek hingga saat ini tercatat memiliki mitra pengemudi sejumlah 900.000 di 50 kota, 100.000 merchant, dan 15 juta pengguna aktif, serta 100.000 juta transaksi berhasil setiap bulannya. Tentunya semua kegiatan yang berlangsung akan menghasilkan jutaan data mentah, sebagai contoh data pribadi customer maupun driver, data rekam jejak perjalanan, daftar belanjaan customer, makanan favorit customer, jadwal pijat, dan masih banyak lagi data lainnya.

7

2.1.2 Implementasi Big Data dalam Gojek Semua interaksi yang dilakukan pengguna dalam aplikasi merupakan data mentah yang bisa mereka ketahui dalam Big Data. Go-Jek adalah perusahaan yang memiliki jumlah pengguna yang besar, dimana pasti memiliki data mentah dalam jumlah besar. Data itu kemudian diolah dan dianalisa agar menjadi informasi yang berguna bagi berbagai divisi dan perusahaan itu sendiri. Dalam pengaturan data Go-Jek melakukannya berdasarkan pengelompokan jenis-jenis jasa yang disediakannya seperti Go-Food, GoRide, Go-Box dan lain sebagainya. Selain itu Go-Jek juga melakukan pengaturan data yang dikelompokan berdasarkan unit bisnis seperti keuangan, pemasaran, operasional, dan lain sebagainya. Go-Jek juga melakukan pengaturan data berdasarkan jenis acara seperti pemesanan, penawaran, dan pembatalan.

Melalui Big Data Go-Jek dapat menganalisis seluruh data yang masuk dan dikonversikan oleh tim divisi Data Science mereka yang dipimpin oleh Crystal Widjaja. Divisi Data Science ini bertugas untuk mengamati, memilah,

mengurai,

mengelompokan

dan

menganalisi

hingga

menginterpretasikan data tersebut untuk kemudian memastikan tim divisi produk yang bersangkutan mendapatkan informasi yang bersangkutan guna dijadikan sebagai faktor penentu langkah strategis.

8

2.1.3 Ekosistem Big Data Dalam Go-jek Ekosistem Big Data dalam Gojek menggunakan jenis infrastruktur yang beragam. Berita terbaru hingga hari ini adalah Gojek menggunakan Google BigQuery dan Google BigStorage untuk proses warehousing mereka. Hal ini dinilai sangat sesuai dengan mereka, karena Gojek hanya perlu membayar biaya untuk penyewaan VPS tanpa harus membangun infrastruktur milik mereka sendiri.

gambar 4 (Gojek Data Architecture)

Sisi Backend dari aplikasi Gojek terdiri dari beberapa jenis DBMS, yaitu MongoDB, PostgreSQL, dan MySQL(walaupun pada kabar terbaru mereka mulai beralih dengan menggunakan MariaDB). Seluruh DBMS ini tentunya mempunyai fungsi yang berbeda-beda, misalkan PostgreSQL dipilih karena mendukung open connection yang lebih besar dari MySQL. Backend Gojek juga dibantu dengan bahasa Ruby yang menfasilitasi penggunaan database yang beragam, sehingga mereka menggunakan Apache Kafka sebagai aggregator data source ke ETL. Data tersebut diproses terlebih dahulu melalui ETL process (Extract, Transform, Load). Dalam proses ini, Gojek memanfaatkan Pentaho, Python, Logstash, dan Java. Tentu saja fungsi dari seluruh komponen ini berbedabeda. Pentaho berfungsi untuk melakukan proses ETL multi-node lalu data di-passing ke BigQuery.

9

Python berfungsi untuk proses machine learning, karena machine learning memiliki efisiensi tinggi dalam melakukan proses transform. Logstash merupakan bagian dari Elastic, bersama dengan Elastic Search dan Elastic Kibana. Kegunaan yang paling terlihat dari Logstash adalah log processing pada server Gojek. Tahap selanjutnya adalah warehousing. Gojek telah mengimplementasikan Google BigQuery dan Google Cloud Storage. Google BigQuery memfasilitasi Gojek untuk me-request data menggunakan Google Query dengan waktu pemrosesan kurang dari 20 detik. Tentu saja proses ini akan menghemat waktu dan infrastruktur karena seluruh proses dijalankan di cloud. Google Cloude Storage sendiri mirip dengan Amazon Web Service S3 (digunakan oleh Traveloka dan Tiket.com). Fungsinya adalah menjadi data warehouse dari seluruh data Gojek. Tujuan dari implementasi ini adalah untuk membangun kekuatan backend yang besar sehingga tidak mengganggu proses bisnis yang ada. Tahap terakhir adalah data presentation. Di tahap ini, Gojek melakukan data visualization untuk diarahkan menjadi informasi yang berguna bagi C-level. Gojek menggunakan Tableau sebagai data visualization platform. Tableau menghasilkan bagan dan grafik yang berisi informasi dari data yang diolah Gojek. Tableau memiliki fungsionalitas yang tinggi dan dapat beroperasi langsung dengan Google Cloud Storage. 2.1.4 Dampak Penggunaan Big Data dalam Gojek Dengan Big Data, wawasan dan informasi yang didapat tidak hanya digunakan untuk optimalisasi bisnis yang sudah ada, tetapi juga berpeluang menciptakan bisnis baru. Sebagai contoh, ketika Gojek pada awalnya hanya menyediakan layanan transportasi Go-Ride dan Go-Car. Mereka melihat adanya pola data kecenderungan pelanggan untuk pergi ke destinasi kuliner, Dari data tersebut mereka mendapatkan informasi dan wawasan sehingga membuat layanan pesan-antar makanan yaitu Go-Food yang pada masa ini sangat memberikan kontribusi terhadap Gojek.

10

Selain itu, Gojek juga dengan berdasarkan pada pola data pelanggan yang mereka miliki, mereka dapat memprediksi pola perilaku yang dimiliki oleh pelanggan. Sebagai contoh pengaturan destinasi tujuan dan penjemputan yang telah terautomatisasi secara langsung, misalkan ketika anda mempunyai kebiasaan untuk pergi ke suatu mall yang sama setiap akhir pecan menggunakan fitur Go-Ride atau Go-Car, maka Gojek secara langsung akan memunculkan opsi prediksi destinasi secara otomatis. Karena Gojek mampu membaca dan menebak itu semua, maka konsumen akan semakin sedikit untuk melakukan aktivitas untuk pemesanannya atau melakukakn ‘klik’ pada gadged-nya masing masing, “Itu berarti membuat konsumen semakin senang dan memunculkan adiktif” kata Nadiem Makariem. Tidak hanya menggunakan Big Data mereka pada pelanggan, namun Gojek juga menggunakan Big Data mereka terhadap para driver sebaga...