Web scraping atau web crawling adalah praktik mengumpulkan data dari website secara otomatis. Meskipun merupakan tool yang sangat berharga untuk riset, analisis pasar, dan agregasi data, legalitas web scraping adalah area yang kompleks dan seringkali abu-abu.

Tidak ada jawaban tunggal "ya" atau "tidak" untuk pertanyaan apakah web scraping itu legal, karena legalitasnya sangat tergantung pada bagaimana Anda melakukan scraping, jenis data yang Anda scrape, dan bagaimana Anda menggunakan data tersebut, serta yurisdiksi hukum yang berlaku.

Faktor-Faktor Kunci yang Memengaruhi Legalitas Web Scraping

Ada beberapa area hukum dan pertimbangan etis yang saling terkait dan menentukan apakah suatu aktivitas web scraping itu legal atau tidak.

1. Ketentuan Layanan (Terms of Service - ToS)

Ini adalah salah satu faktor paling penting. Banyak website secara eksplisit menyatakan dalam Ketentuan Layanan mereka bahwa web scraping atau pengumpulan data otomatis dilarang.

• Pelanggaran Kontrak: Ketika Anda mengakses sebuah website, Anda secara implisit (atau eksplisit, jika Anda menyetujui pop-up ToS) menyetujui Ketentuan Layanannya. Jika ToS melarang scraping, melakukan scraping dapat dianggap sebagai pelanggaran kontrak. Meskipun ini bukan pelanggaran hukum pidana, pemilik website dapat menuntut Anda secara perdata untuk ganti rugi atau mendapatkan perintah pengadilan untuk menghentikan aktivitas Anda.

• Contoh Kasus: Kasus-kasus besar seperti LinkedIn vs. HiQ Labs (meskipun awalnya HiQ Labs menang, kemudian dibatalkan dan kasusnya berlanjut) dan Meta vs. Bright Data menyoroti pentingnya ToS. Pengadilan seringkali mempertimbangkan apakah scraper telah melanggar perjanjian penggunaan website.

2. Hukum Perlindungan Data dan Privasi

Ini adalah area hukum yang berkembang pesat dan sangat berdampak pada web scraping, terutama jika data yang dikumpulkan adalah data pribadi.

• GDPR (General Data Protection Regulation) - Uni Eropa: Jika Anda scrape data pribadi warga negara atau penduduk Uni Eropa (bahkan jika Anda berada di luar UE), Anda mungkin terikat oleh GDPR. GDPR mengharuskan adanya dasar hukum yang sah untuk memproses data pribadi (misalnya, persetujuan, kepentingan sah, kontrak). Scraping data pribadi tanpa dasar hukum yang jelas hampir pasti melanggar GDPR.

• UU PDP (Undang-Undang Perlindungan Data Pribadi) - Indonesia: Undang-Undang Nomor 27 Tahun 2022 tentang Perlindungan Data Pribadi (UU PDP) di Indonesia mirip dengan GDPR dalam banyak hal. Meskipun tidak secara eksplisit melarang scraping, UU PDP mengatur pengumpulan, penyimpanan, dan pemrosesan data pribadi. Jika Anda scrape data pribadi individu di Indonesia, Anda harus memastikan bahwa Anda memiliki dasar hukum yang sah untuk pemrosesannya (misalnya, persetujuan eksplisit) dan memenuhi kewajiban lainnya di bawah UU PDP.

• Data Pribadi: Data seperti nama, alamat email, nomor telepon, alamat IP, atau data biometrik dianggap sebagai data pribadi. Mengumpulkan data semacam ini tanpa persetujuan atau dasar hukum yang jelas adalah berisiko tinggi secara hukum. Data yang sudah publik sekalipun tetap tunduk pada undang-undang privasi di banyak yurisdiksi.

3. Hukum Hak Cipta (Copyright Law)

• Karya Orisinal: Hukum hak cipta melindungi "karya orisinal kepenulisan" seperti artikel berita, gambar, video, musik, kode software, atau desain grafis.

• Pelanggaran Hak Cipta: Jika Anda meng-scrape konten yang dilindungi hak cipta (misalnya, seluruh artikel berita, gambar resolusi tinggi) dan mereproduksinya, mendistribusikannya, atau mengadaptasinya tanpa izin, Anda dapat dituntut atas pelanggaran hak cipta.

• Data Faktual: Informasi faktual (misalnya, daftar harga produk, statistik, nama perusahaan, alamat publik) umumnya tidak dilindungi oleh hak cipta. Jadi, meng-scrape data faktual biasanya tidak melanggar hak cipta. Namun, cara data itu disajikan atau dikurasi bisa saja dilindungi.

• Fair Use/Fair Dealing: Beberapa yurisdiksi memiliki doktrin fair use (AS) atau fair dealing (negara-negara Commonwealth) yang memungkinkan penggunaan terbatas materi berhak cipta untuk tujuan tertentu (misalnya, kritik, komentar, pelaporan berita, riset) tanpa izin. Namun, ini adalah area yang rumit dan harus dievaluasi dengan cermat.

4. Computer Fraud and Abuse Act (CFAA) - Amerika Serikat

Ini adalah undang-undang anti-peretasan di AS yang kadang-kadang digunakan untuk menuntut scraper.

• Akses Tanpa Izin: CFAA melarang "akses tanpa otorisasi" atau "melebihi akses yang diotorisasi" ke sistem komputer. Jika scraper Anda melewati langkah-langkah keamanan (misalnya, captcha, login wall, atau rate limiting yang ketat) atau mengakses bagian website yang tidak dimaksudkan untuk akses publik, Anda bisa melanggar CFAA.

• Kasus HiQ Labs vs. LinkedIn: Kasus ini adalah contoh penting. Pengadilan tingkat banding memutuskan bahwa scraping data yang tersedia secara publik tidak melanggar CFAA, tetapi ini bukan putusan final dan legalitas scraping yang melewati batasan teknis masih menjadi perdebatan.

5. robots.txt

Robots.txt adalah file yang ditempatkan oleh pemilik website di root directory mereka (misal: https://www.example.com/robots.txt). Ini berisi instruksi untuk web crawler dan bot tentang bagian mana dari website yang boleh atau tidak boleh diakses atau di-crawl.

• Bukan Hukum: robots.txt bukanlah undang-undang, melainkan pedoman atau permintaan sopan. Namun, mengabaikannya dapat memperkuat kasus pelanggaran ToS atau bahkan dapat digunakan sebagai bukti dalam kasus akses tanpa izin.

• Praktik Terbaik: Selalu periksa dan patuhi robots.txt. Mengabaikannya bisa menyebabkan pemblokiran IP atau, dalam kasus ekstrem, tindakan hukum.

6. Dampak pada Server Website

• Penyalahgunaan Sumber Daya: Jika scraper Anda mengirim terlalu banyak permintaan dalam waktu singkat (rate limiting berlebihan), ini dapat membanjiri server website, menyebabkan kinerja menurun atau bahkan server crash. Ini bisa dianggap sebagai serangan Denial of Service (DoS) atau trespass to chattels (gangguan pada properti orang lain), yang bisa memiliki konsekuensi hukum.

• Praktik Terbaik: Terapkan delay antar permintaan (throttling) dan identifikasi diri dengan User-Agent yang jelas.

Apa yang Umumnya Diperbolehkan (dan Dihindari)?

Umumnya Diperbolehkan (dengan caveats):

• Data Publik, Faktual, dan Non-Pribadi: Meng-scrape informasi yang tersedia secara publik yang tidak mengandung data pribadi dan tidak dilindungi hak cipta (misalnya, daftar produk dan harga di e-commerce, data cuaca, jadwal penerbangan).

• Mematuhi robots.txt: Selalu periksa dan ikuti instruksi di file robots.txt website.

• Menghormati Ketentuan Layanan (ToS): Baca ToS website. Jika melarang scraping, Anda berisiko dituntut jika Anda tetap melakukannya.

• Tidak Membanjiri Server: Terapkan delay atau rate limiting untuk menghindari membebani server website target.

• Tujuan yang Sah dan Transformasi Data: Jika Anda mengumpulkan data untuk tujuan riset, analisis, atau membuat produk baru yang secara signifikan "mentransformasi" data asli menjadi sesuatu yang baru (misalnya, agregator berita yang hanya menampilkan judul dan snippet dengan link ke sumber asli), ini lebih cenderung dianggap legal di bawah konsep fair use (jika berlaku).

Yang Harus Dihindari:

• Data Pribadi Tanpa Izin: Meng-scrape nama, email, nomor telepon, atau informasi identifikasi pribadi lainnya tanpa persetujuan jelas dari individu atau dasar hukum yang sah.

• Konten Berhak Cipta (Reproduksi Penuh): Mengunduh dan memublikasikan ulang seluruh artikel, gambar, atau video yang dilindungi hak cipta tanpa izin.

• Melewati Mekanisme Keamanan: Mengatasi login wall, captcha, atau langkah-langkah keamanan lainnya.

• Membanjiri Server: Permintaan yang terlalu agresif yang mengganggu operasi normal website.

• Penggunaan untuk Tujuan Bersaing: Menggunakan data yang di-scrape untuk membangun produk atau layanan yang secara langsung bersaing dengan website sumber.

Legalitas web scraping adalah area yang terus berkembang dan seringkali diperdebatkan di pengadilan di seluruh dunia. Pendekatan terbaik adalah dengan selalu bersikap etis dan hati-hati. Sebelum memulai proyek web scraping, selalu lakukan due diligence:

1. Periksa robots.txt.

2. Baca Ketentuan Layanan website.

3. Identifikasi jenis data: Apakah itu data pribadi? Apakah dilindungi hak cipta?

4. Tentukan tujuan penggunaan data Anda.

5. Terapkan rate limiting yang wajar.

Jika ada keraguan, terutama saat berurusan dengan data pribadi atau konten sensitif, konsultasikan dengan ahli hukum yang mengkhususkan diri dalam hukum internet dan data. Mematuhi pedoman ini tidak hanya mengurangi risiko hukum, tetapi juga membangun reputasi yang baik sebagai scraper yang bertanggung jawab.