Khi các cơ quan quản lý tìm cách kiềm chế sức mạnh của Google, người ta càng nhận thấy cần tập trung vào danh sách khổng lồ hàng trăm tỷ trang web đằng sau công cụ tìm kiếm của Google. Vì được sử dụng nhiều, công cụ tìm kiếm của Google ngày càng thu nhận được nhiều dữ liệu từ người dùng, cũng chính là người tiêu dùng.
Năm 2000, chỉ hai năm sau khi thành lập, Google đã đạt được cột mốc quan trọng sẽ đặt nền móng cho sự thống trị của mình trong 20 năm tới: Trở thành công cụ tìm kiếm lớn nhất thế giới, với danh sách hơn một tỷ trang web.
Các đối thủ của Google không bao giờ đuổi kịp được. Danh sách các trang web Google sở hữu ngày càng lớn. Hiện nay, ước tính danh sách này bao gồm khoảng 500 tỷ đến 600 tỷ trang web.
Giờ đây, khi các cơ quan quản lý trên khắp thế giới xem xét các cách để hạn chế quyền lực của Google, bao gồm cả vụ kiện độc quyền về tìm kiếm trên internet được các bang ở Mỹ và vụ kiện chống độc quyền mà Bộ Tư pháp Mỹ đưa ra vào tháng 10 năm ngoái, họ mới thấy họ đang đối mặt với một công ty mà chỉ cần dùng quy mô cũng đánh bại được các đối thủ cạnh tranh. Các đối thủ cạnh tranh của Google đang hướng các nhà điều tra về danh sách khổng lồ, cái tâm thu hút các trang web của Google.
Ông Matt Wells, người sáng lập Gigablast - một công cụ tìm kiếm với danh sách khoảng 5 tỷ trang web ra đời khoảng 20 năm trước - cho biết: "Nếu mọi người đang sử dụng công cụ tìm kiếm có danh sách trang web ít hơn thì không phải lúc nào cũng nhận được kết quả mình muốn. Và sau đó họ quay sang dùng Google và ở lại với Google… Một tay chơi nhỏ như tôi không thể cạnh tranh được".
Không cạnh tranh nổi với Google, nhiều công ty quay sang đáp ứng nhu cầu của Google
Mọi yêu cầu tìm kiếm đều cung cấp cho Google nhiều dữ liệu hơn để làm cho thuật toán tìm kiếm của Google thông minh hơn. Google đã thực hiện nhiều tìm kiếm hơn bất kỳ công cụ tìm kiếm nào khác đến mức tạo ra một lợi thế to lớn so với các đối thủ trong việc hiểu những gì người tiêu dùng đang tìm kiếm. Lợi thế dẫn đầu đó ngày càng mở rộng vì Google chiếm thị phần khoảng 90%.
Google hướng hàng tỷ người dùng đến các đích đến trên internet và các trang web, do khao khát lưu lượng truy cập đó, tạo ra một bộ quy tắc khác cho Google. Các trang web thường cung cấp quyền truy cập nhiều hơn và thường xuyên hơn cho những cái gọi là trình thu thập thông tin web của Google, tức là những máy tính tự động dò tìm trên internet và quét các trang web, cho phép Google ngày càng cung cấp được danh sách các trang web cập nhật và mở rộng hơn.
Khi còn làm việc tại trang web âm nhạc Bandcamp, ông Zack Maril - một kỹ sư phần mềm - đã lo lắng về vị thế thống trị của Google đến mức khiến Google trở thành một thứ thiết yếu đối với các trang web.
Vào năm 2018, khi Google cho biết trình thu thập thông tin của họ, Googlebot, đang gặp sự cố với một trong các trang của Bandcamp, ông Maril đã ưu tiên khắc phục sự cố này vì Google rất quan trọng đối với lưu lượng truy cập của Bandcamp. Trong khi nếu các trình thu thập thông tin khác gặp sự cố với Bandcamp, Bandcamp thường sẽ chặn chúng luôn.
Ông Maril tiếp tục nghiên cứu những cách khác nhau mà các trang web mở cửa cho Google trong khi lại đóng cửa với những đối thủ của Google. Ông đã gửi một báo cáo dài 20 trang mang tên "Hiểu về Google" cho tiểu ban chống độc quyền của Hạ viện Mỹ và sau đó gặp các nhà điều tra để giải thích lý do tại sao các công ty khác không thể tạo nên danh sách các trang web như của Google.
Ông Maril hiện làm việc tại một công ty công nghệ khác không cạnh tranh trực tiếp với Google. Ông cho biết: "Sự độc quyền của Google được tạo nên từ một nguồn cung sức mạnh không hề được kiểm soát".
Một báo cáo công bố năm nay của tiểu ban Hạ viện Mỹ đã trích dẫn nghiên cứu của ông Maril về nỗ lực của Google nhằm tạo ra một bản đồ thời gian thực về internet và kết quả là đã "tạo nên sự thống trị của Google". Trong khi Bộ Tư pháp Mỹ đang tìm cách phá bỏ các giao dịch kinh doanh của Google đang đưa công cụ tìm kiếm của Google vào hàng tỷ điện thoại thông minh và máy tính, ông Maril thúc giục chính phủ Mỹ can thiệp và điều chỉnh danh sách các trang web của Google.
Các trang web và các công cụ tìm kiếm là cộng sinh. Các trang web dựa vào các công cụ tìm kiếm để có lưu lượng truy cập, trong khi các công cụ tìm kiếm cần quyền truy cập vào các trang web để thu thập thông tin nhằm cung cấp các kết quả tìm kiếm phù hợp cho người dùng. Nhưng mỗi trình thu thập thông tin sẽ gây chi phí máy chủ và băng thông cho trang web và một số trình thu thập thông tin quá tích cực sẽ giống như những rủi ro bảo mật có thể làm sập một trang web.
Vì việc để các công cụ tìm kiếm thu thập dữ liệu gây ra những chi phí như vậy nên các trang web có lý do để chỉ trao quyền tiếp cận cho các công cụ tìm kiếm mang lại đủ số lưu lượng truy cập mà họ muốn. Trong tình hình hiện tại thì chỉ có Google và - trong một số trường hợp - là Bing của Microsoft được trao quyền này.
Google và Microsoft là những công cụ tìm kiếm duy nhất chi hàng trăm triệu đô la hàng năm để duy trì một bản đồ thời gian thực về các trang web tiếng Anh trên internet. Đó là cộng với hàng tỷ đô la họ đã bỏ ra trong nhiều năm để xây dựng danh sách các trang web của mình, theo một báo cáo của Cơ quan Cạnh tranh và Thị trường Anh.
Nhưng Google còn nắm giữ một vị trí đáng kể so với Microsoft không chỉ về thị phần.
Cơ quan quản lý cạnh tranh của Anh cho biết danh sách các trang web của Google bao gồm khoảng 500 tỷ đến 600 tỷ trang, trong khi Microsoft chỉ có 100 tỷ đến 200 tỷ trang.
Các công ty công nghệ lớn khác lại triển khai trình thu thập thông tin của họ cho các mục đích khác. Facebook có một trình thu thập thông tin các liên kết xuất hiện trên trang web hoặc dịch vụ của mình. Amazon cho biết trình thu thập thông tin của họ giúp cải thiện năng lực của trợ lý ảo Alexa. Apple có trình thu thập thông tin của riêng mình có tên là Applebot. Điều này làm dấy lên suy đoán rằng họ có thể đang tìm cách xây dựng công cụ tìm kiếm của riêng mình.
Xây danh sách trang web luôn là một thách thức đối với các công ty không có hầu bao lớn
Công cụ tìm kiếm chú ý bảo vệ quyền riêng tư DuckDuckGo đã quyết định ngừng thu thập dữ liệu toàn bộ web hơn một thập kỷ trước và hiện chỉ cung cấp kết quả tìm kiếm từ Microsoft. Tuy nhiên, công cụ tìm kiếm này vẫn thu thập dữ liệu của các trang web như Wikipedia để cung cấp kết quả cho các hộp câu trả lời xuất hiện trong kết quả tìm kiếm của mình, nhưng việc duy trì danh sách các trang web của riêng mình thường không có lợi về tài chính đối với DuckDuckGo.
Ông Gabriel Weinberg, giám đốc điều hành của công cụ tìm kiếm DuckDuckGo, cho biết việc duy trì một danh sách các trang web riêng "tốn nhiều tiền hơn mức chúng tôi có thể chi trả".
Trong một tuyên bố bằng văn bản gửi cho tiểu ban chống độc quyền của Hạ viện Mỹ, công ty này nói rằng "một công ty tìm kiếm khởi nghiệp đầy tham vọng hôm nay (và trong tương lai gần) không thể tránh khỏi nhu cầu" phải lấy các kết quả tìm kiếm từ Microsoft hoặc Google.
Khi FindX bắt đầu phát triển một giải pháp thay thế cho Google vào năm 2015, công ty Đan Mạch này đã bắt đầu tạo các danh sách trang web của riêng mình và cho phép người dùng lập một thuật toán riêng để có được các kết quả tìm kiếm tùy chỉnh.
FindX nhanh chóng gặp sự cố. Các nhà điều hành trang web lớn, chẳng hạn như Yelp và LinkedIn, đã không cho phép công cụ tìm kiếm non trẻ này thu thập dữ liệu các trang web của họ. Do lỗi trong mã, các máy tính của FindX trong khi thu thập dữ liệu trên internet đã bị gắn cờ là rủi ro bảo mật và bị chặn bởi một nhóm các nhà cung cấp cơ sở hạ tầng lớn nhất trên internet. Những trang mà các máy tính của FindX thu thập dữ liệu được chỉ thường là các trang web spam hoặc độc hại.
Ông Brian Schildt Laursen, một trong những người sáng lập của FindX, cho biết: "Nếu bạn phải tạo danh sách các trang web thì đó là điều khó nhất." FindX đã ngừng hoạt động vào năm 2018.
Ông Schildt Laursen đã cho ra mắt công cụ tìm kiếm mới vào năm ngoái, Givero, cung cấp cho người dùng giải pháp để chuyển một phần doanh thu của Givero cho các hoạt động từ thiện. Khi thành lập Givero, ông Schildt Laursen đã lấy kết quả tìm kiếm từ Microsoft.
Hầu hết các trang web lớn đều thận trọng trong việc để công ty nào thu thập dữ liệu các trang của họ. Nhìn chung, Google và Microsoft có nhiều quyền truy cập hơn vì họ có nhiều người dùng hơn, trong khi các công cụ tìm kiếm nhỏ hơn phải xin phép truy cập.
Ông Marc Al-Hames, đồng giám đốc điều hành của Cliqz, một công cụ tìm kiếm của Đức, cho biết: "Bạn cần lưu lượng truy cập đủ để thuyết phục các trang web cho phép bạn sao chép và thu thập thông tin, nhưng bạn cũng cần nội dung của các trang web để tăng danh sách trang web của bạn và tăng lưu lượng truy cập của mình. Đó là câu chuyện con gà và quả trứng". Cliqz đã đóng cửa năm ngoái sau bảy năm hoạt động.
Manh nha những nỗ lực "hạ bệ" Google
Môt website điều tra các trình thu thập thông tin của các trang web (Nguồn: New York Times)
Tại Châu Âu, một nhóm có tên Open Search Foundation đã đề xuất một kế hoạch tạo ra một danh sách các trang web cho nhiều công cụ tìm kiếm của Châu Âu dùng chung. Ông Stefan Voigt, chủ tịch và người sáng lập của nhóm, cho biết cần phải có nhiều lựa chọn cho các kết quả tìm kiếm, bởi vì chỉ một số ít công ty quyết định những liên kết nào người dùng được thấy là điều không tốt.
Khi ông Maril bắt đầu nghiên cứu cách các trang web đối xử với trình thu thập thông tin của Google, ông đã tải xuống 17 triệu cái gọi là tệp robots.txt - về cơ bản là các quy tắc về đường đi được đăng bởi hầu hết các trang web cho các trình thu thập thông tin biết có thể đi đến những đâu - và tìm thấy nhiều ví dụ cho thấy Google có quyền truy cập lớn hơn các đối thủ cạnh tranh.
ScienceDirect, một trang web dành cho các bài báo khoa học đã được thẩm định, chỉ cho phép trình thu thập thông tin của Google quyền truy cập vào các liên kết chứa tài liệu PDF. Chỉ máy tính của Google mới có quyền truy cập vào danh sách trên PBS Kids. Trên Alibaba.com, trang web ở Mỹ của gã khổng lồ thương mại điện tử Trung Quốc Alibaba, chỉ trình thu thập thông tin của Google mới được cấp quyền truy cập vào các trang liệt kê sản phẩm.
Năm nay, ông Maril đã thành lập một tổ chức, Câu lạc bộ Knuckleheads, và một trang web để nâng cao nhận thức về thế độc quyền thu thập dữ liệu web của Google.
Ông Maril nói: "Google có tất cả quyền lực trong xã hội. Nhưng tôi nghĩ rằng cần có sự kiểm soát dân chủ đối với quyền lực đó".
* Mời quý độc giả theo dõi các chương trình đã phát sóng của Đài Truyền hình Việt Nam trên TV Online và VTVGo!