Tren dan Arah Perkembangan Big Data

Jakarta, 21 September 2015 Ismail Fahmi

Awesometrics, Co-founder

Ismail.fahmi@gmail.com

FGD Tren TIK, Kominfo

Perkenalan…

Ismail Fahmi

2004 – 2009 S3, Information Science, Universitas Groningen, Belanda 2003 – 2004 S2, Information Science, Universitas Groningen, Belanda 1992 – 2007 S1, Teknik Elektro, ITB 2009 – Sekarang Engineer di Weborama, Perusahaan Penyedia Platform Iklan berbasis big data audience (Paris/Amsterdam) 2012 – Sekarang Co-Founder Awesometrics, Media Monitoring & Analytics Company 2014 – Sekarang Founder PT. Media Kernels Indonesia, a Natural Language Processing- based Company 2015 – Sekarang Konsultan Perpustakaan Nasional, Inisiator Indonesia OneSearch 2000 – 2003 Inisiator IndonesiaDLN (Digital Library Network pertama di Indonesia) Mengembangkan Ganesha Digital Library (GDL) Mendirikan Knowledge Management Research Group (KMRG) ITB Membangun Digital Library ITB

Daftar Isi

1. 4 V’s + 1 V of Big Data

2. Faktor Pendorong

3. Tantangan

4. Implikasi

5. Apa Kata Mereka

6. Rangkuman Tren Big Data

3

Istilah “Big Data” yang sulit dimengerti

4

“The term ‘big data’ remains

difficult to understand because it can mean so many different things to different people. Technology lens… business lens… industry lens…”

Bernard Marr Best-Selling Author, Keynote Speaker and Leading Business and Data Expert

Big Data di Indonesia

5

“Di Indonesia, istilah big data memang

belum populer seperti di negara-negara lain.

Kemungkinan karena sebagian

besarperusahaan belum memiliki

pemahaman maupun fungsi-fungsi

analisis dari pemrosesan big data.”

Bloomberg Businessweek Indonesia, 12

Juli 2015

4V’s dari Big Data

6

+1V untuk VALUE

7

“But all the volumes of fast-moving data of different variety and veracity have to be

turned into value!”

Sumber: http://www.ibmbigdatahub.com/blog/why-only-one-5-vs-big-data-really-matters

Value

+1V untuk VALUE (lanj.)

8

Sumber:

High value:

Customer

engagement

and

performance

Daftar Isi

1. 4 V’s + 1 V of Big Data

2. Faktor Pendorong

3. Tantangan

4. Implikasi

5. Apa Kata Mereka

6. Rangkuman Tren Big Data

9

Volume

10

Tiap tahun data tumbuh 40%, dan tahun 2020 diperkirakan mencapai

45 Zettabytes

Variety

• 7 billion people

• Google processes 100 PB/day; 3 million servers

• Facebook has 300 PB + 500 TB/day; 35% of world’s photos

• YouTube 1000 PB video storage; 4 billion views/day

• Twitter processes 124 billion tweets/year

• SMS messages – 6.1T per year

• US Cell Calls – 2.2T minutes per year

• US Credit cards - 1.4B Cards; 20B transactions/year

• Devices – Network switches, RFID, CCTV, etc; a lot of data.

11

Velocity

12

Veracity/Confidence

13

1 dari 3 pemimpin bisnis tidak percaya dengan informasi yang mereka gunakan

untuk mengambil keputusan

Makin Banyak Perangkat Terhubung Internet

14

IoT Butuh Strategi Big Data

15

Media Penyimpan Makin Murah

16

Kenapa tidak disimpan saja semuanya?

Sumber: SAS, 2012

Integrasi Data

17

Keinginan untuk mengintegrasikan semua data ke dalam satu tempat

Kebutuhan atas Insights yang Real-time

18

Sumber: SAP

Daftar Isi

1. 4 V’s + 1 V of Big Data

2. Faktor Pendorong

3. Tantangan

4. Implikasi

5. Apa Kata Mereka

6. Rangkuman Tren Big Data

19

Tantangan Umum di Indonesia

20

“Data untuk berbagai jenis kebutuhan apapun sudah banyak di Indonesia, tetapi tersebar.

“Mencari data agregat saja susah, apalagi data-data yang detail.” Bloomberg Businessweek Indonesia,

12 Juli 2015

Tantangan Utama

• CEOs want security.

• Customers want privacy.

• Employees need guidance.

21

Fokus terhadap keamanan, privasi, dan governance policies.

Sumber Data yang Beragam

22

Perusahaan ingin menggabungkan data rich media dengan data

tradisional yang terstruktur.

Teks yang Tak Terstruktur

23

Teks yang tak terstruktur sulit untuk diquery.

Kualitas Data

24

Garbage in = garbage out still holds true today

Culture, Skills, and Business Processes

25

Daftar Isi

1. 4 V’s + 1 V of Big Data

2. Faktor Pendorong

3. Tantangan

4. Implikasi

5. Apa Kata Mereka

6. Rangkuman Tren Big Data

26

Mendapatkan Value dari Big Data

27

Sumber:

Chief Data Officer

28

Semakin banyak perusahaan yang memiliki ‘CDO’ untuk membangun

strategi dan budaya yang data-driven.

Data Scientists

29

Kebutuhan akan Data Scientist semakin meningkat

Big Data sebagai Service

30

Layanan komputasi awan semakin banyak dicari perusahaan untuk

menangani beban Big Data

Hadoop Menjadi Keharusan

31

Kemampuan Hadoop meningkat, termasuk fungsi real-time. Hadoop menjadi

bagian yang tak terpisahkan dalam platform software perusahaan.

‘Simpan Semua Data, Olah Belakangan’

32

Kebutuhan untuk menyimpan dan memproses semua jenis data

meningkat, dan secara real-time.

Advanced Analytics & Visualization

33

Kemampuan analitik dan visualisasi yang advanced semakin dibutuhkan untuk

membantu pengambilan keputusan.

Daftar Isi

1. 4 V’s + 1 V of Big Data

2. Faktor Pendorong

3. Tantangan

4. Implikasi

5. Apa Kata Mereka

6. Rangkuman Tren Big Data

34

Minat Tinggi terhadap Big Data

“73 percent of respondents have

invested or plan to invest in big

data in the next 24 months, up

from 64 percent in 2013.” Gartner

“The No. 1 use case is enhancing

customer experience. 68% of

respondents said that they use

big data to enhance their

customer experience. This is the

third year customer experience

has been a top business problem

to address.” Gartner

35

Pertumbuhan Pasar Big Data

“Big Data will continue

to represent a fast-

growing multibillion-

dollar worldwide

opportunity for the next

five years.” IDC

36

“Global spending on Big Data will grow at a CAGR of

46% between 2015 and 2020. Big Data revenues will

reach almost $190 Billion by the end of 2020.” Mind

Commerce

Segmentasi Pasar Big Data

37

“Infrastructure will continue to

command a large share of the

Big Data market with 48.2%

share in 2014.” IDC

“Big Data-related services

revenue makes up 40% of the

total, with hardware at 38%

and software at 22%.” Wikibon

People & Processes

38

The biggest challenges for implementing big data solutions

“Big data offers big opportunities, but

poses even bigger challenges.” Alexander

Linden, research director at Gartner

“I am asked all of the time: what is the best

analytics strategy? And I always answer:

data, process and people.” Mike

Cavaretta, Data Scientist and Manager,

Ford Motor Company

Keamanan Data

39

Mungkin ini tantangan terbesar dalam penerapan solusi Big Data

dalam perusahaan.

“Hacked customer data can erase millions in

profits within weeks, stolen intellectual property

can erase competitive advantage in less than a

year, and unnecessary privacy abuses can bring

unwanted scrutiny and fines from regulators

while inflicting reputational damage that can last

months, even years.” Forrester

“Gartner predicts that, through 2016, more than

80 percent of organizations will fail to develop a

consolidated data security policy across silos,

leading to potential noncompliance, security

breaches and financial liabilities.” Gartner

Daftar Isi

1. 4 V’s + 1 V of Big Data

2. Faktor Pendorong

3. Tantangan

4. Implikasi

5. Apa Kata Mereka

6. Rangkuman Tren Big Data

40

41

Rangkuman Tren Big Data

Pendorong

• Volume, variety, velocity, dan complexity dari data, baik tradisional maupun non-

tradisional.

• Makin banyak perangkat yang terhubung ke Internet.

• Media penyimpan makin murah.

• Keinginan untuk menyimpan data dalam satu tempat.

• Kebutuhan akan insight yang real-time.

Tantangan

• Di Indonesia, data aggregat apalagi yang detail susah didapat.

• Security, privacy, governance, culture, skills, dan business processes

• Sumber data yang beragam (enterprise apps, web, search, video, mobile, percakapan

social dan sensors).

• Kualitas data.

• Teks yang tak terstruktur sulit diquery.

• Culture, skills, dan business processes

Implikasi

• Meningkatnya kebutuhan mendapatkan value dari big data.

• Chief Data Officer dan Data Scientist makin dibutuhkan.

• Big Data sebagai service, karena tingginya beban Big Data.

• Hadoop menjadi bagian yang tak terpisahkan dalam platform software perusahaan.

• Keinginan untuk menyimpan semua jenis data meningkat, dan secara real-time.

• Analisis dan visualisasi yang advance dan real-time.

42

Referensi: HorizonWatch 2015 dan berbagai sumber

Terimakasih

43

Ismail Fahmi Awesometrics, Co-founder HP: 0812 8908 3894 Email: Ismail.fahmi@gmail.com Web: http://awesometrics.com