Tu Viện Quảng Đức105 Lynch Rd, Fawkner, Vic 3060. Australia. Tel: 9357 3544. quangduc@quangduc.com* Viện Chủ: HT Tâm Phương, Trụ Trì: TT Nguyên Tạng   

Tại sao Công nghệ lại Phụng sự nền Chuyên chế Độc tài (Why Technology Favors Tyranny)

11/03/202219:44(Xem: 2320)
Tại sao Công nghệ lại Phụng sự nền Chuyên chế Độc tài (Why Technology Favors Tyranny)

cong nghe hien dai (1)
Tại sao Công nghệ lại Phụng sự nền Chuyên chế Độc tài

(Why Technology Favors Tyranny)


 

I. Nỗi sợ hãi ngày thêm tăng của việc dần mất đi vị thế

 

Nền dân chủ là một thứ không bền vững. Nếu tính tất cả những thành công đã đạt được vào thế kỷ trước hoặc lâu hơn nữa, cũng chỉ như đốm sáng chập chờn trong lịch sử. Chế độ quân chủ chuyên chế tập quyền và những dạng khác của nền độc tài thống trị đã là hình mẫu phổ biến trong việc cai trị con người.

 

Sự hiện diện của nền dân chủ tự do gắn liền với những tư tưởng tự do, bình đẳng có vẻ như là điều hiển nhiên và không thể đảo ngược. Nhưng những tư tưởng này còn mong manh hơn chúng ta nghĩ. Sự thành công của chúng trong thế kỷ 20 phụ thuộc vào những điều kiện công nghệ độc đáo có thể được chứng minh là không bền vững.

 

Vào thập kỷ thứ hai của thế kỷ 21, chủ nghĩa tự do cá nhân bắt đầu mất đi sự tin cậy. Các câu hỏi về khả năng của nền dân chủ tự do cho tầng lớp trung lưu đã ngày thêm nhiều hơn; chính trị thì ngày thêm man rợ và càng ngày thêm có nhiều quốc gia có những lãnh đạo thể hiện xu hướng mị dân và độc tài. Nguyên nhân gây ra sự chuyển biến mang tính chính trị này thật phức tạp, nhưng chúng có vẻ như đan xen với sự phát triển của khoa học công nghệ hiện nay. Công nghệ dành cho nền dân chủ thay đổi và cũng như trí tuệ nhân tạo (AI) đang phát triển, thậm chí nó còn có thể đi xa hơn nữa.

 

Khoa Công nghệ thông tin (CNTT) vẫn tiếp tục có những bước tiến nhanh, Công nghệ sinh học (CNSH) bắt đầu khai môn đi vào đời sống nội tâm của chúng ta - cảm xúc, suy nghĩ và lựa chọn của chúng ta. CNTT và CNSH sẽ cùng nhịp bước tạo ra những biến động chưa từng có trong xã hội loài người, làm xáo trộn trật tự loài người và thậm chí có thể chống lại những khát vọng của nhân loại. Dưới những điều kiện như vậy, dân chủ tự do và thị trường tự do có thể trở nên lỗi thời.

 

Người bình thường không thể hiểu được trí tuệ nhân tạo (AI) và thế nào là Công nghệ sinh học (CNSH), nhưng họ có thể cảm giác được rằng tương lai đang lướt qua họ.

 

Năm 1938, điều kiện sống của con người nói chung dù là ở Liên Xô, Đức hay Hoa Kỳ có thể khắc nghiệt, nhưng nhân loại vẫn tiếp tục nói rằng anh ta là thứ quan trọng nhất trên trần gian, anh ta chính là tương lai (phải nói thêm là anh ta là "người bình thường" chứ không phải một người Do Thái hay một phụ nữ). Anh ta nhìn vào những áp-phích tuyên truyền - thường mô tả những người thợ mỏ và công nhân nhà máy thép trong tư thế của những người hùng - và thất bóng dáng mình trong đấy. "Ta là người trong bức tranh! Ta chính là người hùng của tương lai".

 

Năm 2018, một người bình thường ngày thêm cảm thấy vị thế của mình. Rất nhiều những thuật ngữ bí ẩn hiện ra trong những buổi TED Talks tại các think-tank của nhà nước và các hội nghị công nghệ cao - toàn cầu hóa, chuỗi khối, kỹ thuật di truyền, trí tuệ nhân tạo (AI), học máy và người bình thường, dù là nam hay nữ, đều cho rằng những khái niệm này chẳng liên quan gì đến mình.

 

cong nghe hien dai (1)


Vào thế kỷ 20, quần chúng đứng lên chống lại việc bóc lột và tìm cách chuyển hóa vai trò quan trọng của họ trong nền kinh tế thành quyền lực chính trị. Bây giờ quần chúng tự cảm thấy không có vai trò gì và họ ngông cuồng sử dụng chút quyền lực chính trị còn lại của mình trước khi quá muộn. Brexit và cựu Tổng thống Mỹ Donald Trumq ở đây có thể được coi như một minh chứng cho quỹ đạo hoàn toàn đảo ngược với những cuộc cách mạng chủ nghĩa xã hội truyền thống. Những cuộc cách mạng Nga, Trung Quốc và Cuba được tạo ra bởi những người có vai trò sống còn trong nền kinh tế, nhưng lại thiếu đi quyền lực chính trị; năm 2016, cựu Tổng thống Mỹ Donald Trumq và Brexit được ủng hộ bởi những người vẫn còn đang tận hưởng quyền lực chính trị, nhưng lại sợ rằng mình mất đi vị thế trong nền kinh tế. Có lẽ trong thế kỷ 21, các cuộc cách mạng quần chúng sẽ không nổi dậy để chống lại giới tinh hoa trong kinh tế chuyên bóc lột con người, mà là chống lại giới tinh hoa trong nền kinh tế mà không cần đến con người. Đây có thể là một trận chiến bại. Đấu tranh chống lại việc mất đi vị thế của chính mình thì khó hơn rất nhiều so với chống lại sự bóc lột.

 

Các cuộc cách mạng trong công nghệ thông tin và công nghệ sinh học vẫn còn trong giai đoạn sơ khai và mức độ chúng chịu trách nhiệm cho cuộc khủng hoảng hiện tại của chủ nghĩa tự do vẫn còn gây tranh cãi. Những người ở Birmingham, Istanbul, St. Peterburg và Mumbai chỉ nhận thức một cách mập mờ, nếu họ hoàn toàn nhận thức được, về sự trỗi dậy của AI và sức ảnh hưởng tiềm tàng của nó tới cuộc sống của họ. Chẳng có gì phải nghi ngờ về việc cách mạng công nghệ sẽ tạo đà trong vài thập kỷ tới và nhân loại sẽ phải đối đầu với những thử thách khó khăn nhất mà họ chưa từng gặp phải.

 

II. Một giai cấp vô dụng mới?

 

Hãy bắt đầu với những công việc và thu nhập, bởi vì dù sức hấp dẫn của tự do dân chủ là cái gì đi chăng nữa, nó cũng đã đạt được sức mạnh nhờ một phần không nhỏ bởi nhờ vào các lợi thế trong thực tế: Cách tiếp cận phi tập trung của việc đưa ra quyết định là một đặc trưng của chủ nghĩa tự do cá nhân - trong cả chính trị và kinh tế - đã cho phép nền dân chủ tự do đánh bật các tư tưởng khác và tiếp tục tạo ra ảnh hưởng đến mọi người.

 

Chủ nghĩa tự do cá nhân hòa giải giai cấp tư sản và vô sản, người tín ngưỡng tôn giáo và kẻ vô thần, người bản xứ và dân nhập cư, người châu Âu và châu Á bằng cách hứa hẹn mỗi người đều có một miếng to hơn trong chiếc bánh. Với một chiếc bánh không ngừng to phồng lên, đó là điều khả thi. Chiếc bánh có thể tiếp tục phồng lên nữa. Tuy nhiên, phát triển kinh tế có thể không giải quyết được những vấn đề xã hội được xây dựng bởi sự gián đoạn trong công nghệ, bởi vì tăng trưởng kinh tế ngày càng dựa trên những công nghệ tinh vi hơn.

 

Nỗi lo sợ cho rằng máy móc sẽ cướp lấy việc của con người trên thị trường công ăn việc làm dĩ nhiên là một điều không mới và những nỗi lo sợ tương tự trong quá khứ đã được chứng minh là vô căn cứ. Nhưng trí tuệ nhân tạo (AI) là hoàn toàn khác so với những máy móc cũ.

 

Trong quá khứ, máy móc cạnh tranh với con người chủ yếu là trong kỹ năng thao tác thủ công. Bây giờ chúng đã bắt đầu cạnh tranh với con người trong kỹ năng nhận thức. Chúng ta không thể biết một loại kỹ năng nào khác - ngoài thao tác thủ công và đầu óc - mà con người lúc nào cũng đang ở lưng chừng vực thẳm.

 

Ít nhất trong vài thập kỷ nữa, trí thông minh của nhân loại vẫn sẽ có khả năng vượt trí thông minh máy tính trong nhiều lĩnh vực. Do đó, khi các máy tính tiếp nhận các công việc nhận thức thông thường hơn, các công việc sáng tạo mới cho nhân loại sẽ tiếp tục xuất hiện. Nhiều công việc mới này sẽ phụ thuộc vào sự hợp tác hơn là cạnh tranh giữa con người và trí tuệ nhân tạo (AI). Các nhóm người-AI có khả năng sẽ chứng minh rằng chúng có năng lực hoàn hảo hơn không chỉ với con người, mà còn với cả các máy tính tự vận hành.

 

Tuy nhiên, hầu hết các công việc mới sẽ đòi hỏi trình độ chuyên môn cao và sắc xảo, do đó có thể không cung cấp được đầu ra cho người lao động không có kỹ năng, hoặc người lao động chỉ có thể trả lương rất thấp. Hơn nữa, khi trí tuệ nhân tạo (AI) tiếp tục được cải thiện, ngay cả những công việc đòi hỏi trí thông minh và sáng tạo cao dần dần có thể biến mất. Cờ vua có thể được coi như là một ví dụ đầu tiên. Trong nhiều năm sau khi máy tính của BM Deep Blue đánh bại Garry Kasparov vào những thập niên 1997, những người chơi cờ vua vẫn phát triển mạnh; trí tuệ nhân tạo (AI) đã được sử dụng để đào tạo thần đồng của nhân loại và các đội bao gồm con người cộng tác với máy tính tỏ ra vượt trội hơn so với việc chỉ dùng mỗi máy tính.

 

Tuy nhiên, những năm gần đây, máy tính đã chơi cờ giỏi đến nỗi mà những người cộng sự là những người thật đã mất đi giá trị và có thể sẽ sớm hoàn toàn mất đi vai trò của mình.

 

Vào ngày 06 tháng 12 năm 2017, một cột mốc quan trọng đã được xác lập khi lphaZero của google đã đánh bại được Stockfish 8. Stockfish 8 đã từng thắng một giải vô địch cờ thế giới vào năm 2016. Nó đã thâu tóm được toàn bộ những kinh nghiệm mà nhân loại thu thập được qua hàng vài thế kỷ và hàng thập kỷ kinh nghiệm của máy tính. Ngược lại, những người tạo ra lphaZero không hề dạy cho nó bất kỳ chiến thuật nào trong cờ vua, ngay cả những nước khai cuộc.

 

Thay vào đó, nó đã sử dụng những quy tắc học máy để tự dạy cho mình cách chơi cờ bằng cách tự chơi. Dù sao đi nữa, trong 100 ván cờ mà tay mơ lphaZero đã chơi với Stockfish 8, lphaZero đã thắng 28 và hòa 72, thậm chí nó còn không thua ván nào. Từ khi lphaZero không học được bất kỳ điều gì từ con người, rất nhiều những chiến lược và nước đi của nó có vẻ như độc đáo trong nhãn quang của nhân loại. Người ta có thể dùng từ sáng tạo, hay có thể nói là thực sự thiên tài.

 

 

Bạn có đoán được là lphaZero đã dành bao nhiêu thời gian để học từ những thứ cơ bản, chuẩn bị cho trận đấu so với Stockfish 8 và tạo thành bản năng thiên bẩm của nó? Bốn tiếng đồng hồ. Qua nhiều thế kỷ, cờ được coi là một vinh quang của trí tuệ nhân loại. lphaZero đi từ sự vô tri đến bậc thầy sáng tạo với thời gian bốn giờ, mà không cần bất kỳ sự hỗ trợ nào từ con người.

 

Tại đây, lphaZero không chỉ là phần mềm tưởng tượng duy nhất. Một trong những cách để bắt được những kẻ gian lận trong các giải đấu cờ vua ngày nay là quan sát độc đáo mà người chơi thể hiện. Nếu họ đi một nước cờ sáng tạo một cách bất ngờ, trọng tài sẽ nghi ngờ rằng đây có phải là một nước đi của con người hay một nước đi của máy tính. Ít nhất là cờ vua, sự sáng tạo đã được coi là thương hiệu của máy tính chứ không phải là con người! Vì vậy, nếu cờ vua là thỏi vàng trong mỏ than của chúng ta, thì mình đang được nhắc nhở rằng thỏi vàng đó sắp tàn rồi. Điều gì đang xảy đến ngày hôm nay với các đội AI-con người trong cờ vua có thể xảy ra với các đội AI-con người trong quản lý, y tế, ngân hàng và nhiều lĩnh vực khác.

 

Hơn nữa, trí tuệ nhân tạo (AI) có những khả năng độc nhất vô nhị vô nhân tính, phân biệt giữa AI và một nhân viên con người thành hai loại khác nhau chứ không còn là vấn đề trình độ. Hai khả năng vô cùng quan trọng mà trí tuệ nhân tạo (AI) sở hữu là khả năng kết nối và khả năng cập nhật.

 

Ví dụ, nhiều người lái xe không quen thuộc với tất cả các quy tắc giao thông thay đổi trên xa lộ họ lái xe và họ thường xuyên vi phạm. Ngoài ra, bởi mỗi người lái xe là một thực thể độc lập, khi hai chiếc xe đến gần giao lộ tương tự, các tài xế lái xe đôi khi hiểu sai ý định của họ và xảy ra va chạm nhau. Ngược lại, những chiếc xe tự lái sẽ biết tất cả các quy tắc giao thông và không bao giờ cố tình vi phạm chúng và tất cả có thể được kết nối với nhau. Khi hai phương tiện ô tô như vậy tiếp cận một giao lộ, thực sự chúng sẽ không là hai thực thể riêng biệt, nhưng là một phần của một thuật toán đơn lẻ. Cơ hội khiến chúng có thể tạo ra lỗi va chạm vào nhau do đó sẽ nhỏ hơn nhiều.

 

Tương tự, nếu Tổ chức Y tế Thế giới (WHO) xác định một căn bệnh mới, hoặc nếu một phòng thí nghiệm sản xuất một loại dược liệu mới, ngay lập tức nó không thể cập nhật cho tất cả các bác sĩ con người trên toàn cầu. Tuy nhiên, khi bạn có hàng tỷ bác sĩ trí tuệ nhân tạo (AI) trên thế giới - mỗi người theo dõi sức khỏe của một người - bạn có thể cập nhật tất cả trong vòng một giây và các bác sĩ này có thể trao đổi với nhau về những đánh giá của họ về căn bệnh mới hoặc dược phẩm mới. Những lợi thế tiềm năng của khả năng kết nối và cập nhật này rất lớn đến mức ít nhất trong một số công việc, người ta có thể thay thế tất cả mọi người bằng máy tính, ngay cả khi một số người vẫn làm tốt hơn máy móc.

 

"Những công nghệ tương tự có thể khiến hàng tỷ người không có khả năng về mặt kinh tế cũng có thể giúp họ giám sát và kiểm soát dễ dàng hơn".

 

Tất cả điều này dẫn đến một kết luận rất quan trọng: Cuộc cách mạng tự động hóa sẽ không bao gồm một sự kiện khởi đầu duy nhất, sau đó thị trường việc làm sẽ ổn định vào một trạng thái cân bằng mới. Thay vào đó, nó sẽ là một loạt các xáo trộn lớn hơn bao giờ hết. Công việc cũ sẽ biến mất và công việc mới sẽ xuất hiện, nhưng công việc mới cũng sẽ nhanh chóng thay đổi và biến mất. Mọi người sẽ cần phải được đào tạo lại và tự tái sinh không chỉ một lần mà còn nhiều lần.


cong nghe hien dai (2)

 


Cũng như trong các chính phủ thế kỷ 21 đã thiết lập các hệ thống giáo dục đại chúng cho thế hệ trẻ, nhưng trong thế kỷ 21, họ sẽ cần thiết lập các hệ thống tái giáo dục cho toàn bộ quần chúng. Nhưng liệu điều đó đủ chưa? Thay đổi luôn căng thẳng và thế giới bận rộn của đầu thế kỷ 21 đã tạo ra một đại dịch hiểm ác làm căng thẳng toàn cầu. Khi sự biến động công việc tăng lên, mọi người có thể đối mặt với nó không? Vào năm 2050, một lớp học vô dụng có thể xuất hiện, kết quả không chỉ là thiếu đi những việc làm có vị trí trong xã hội mà thậm chí còn thiếu đi cả ý chí tinh thần để học thêm những kỹ năng mới.

 

III. Sự trỗi dậy của các chế độ độc tài Kỹ thuật số

 

Khi nhiều người bị mất giá trị kinh tế, họ có thể bị mất quyền lực chính trị. Những công nghệ tương tự có thể khiến hàng tỷ người không có khả năng về kinh tế, có thể giúp họ giám sát và kiểm soát dễ dàng hơn.

 

Trí tuệ nhân tạo (AI) khiến nhiều người sợ hãi bởi vì họ không tin vào khả năng phục tùng của nó. Khoa học viễn tưởng tạo ra nhiều khả năng máy móc hoặc robot sẽ phát triển ý thức - và sau đó ngay cả khả năng của nó có thể giết tất cả nhân loại. Nhưng không có lý do cụ thể tin rằng trí tuệ nhân tạo (AI) sẽ phát triển ý thức khi nó trở nên thông minh hơn. Thay vào đó, chúng ta nên sợ hãi AI vì nó có thể sẽ luôn tuân thủ theo chủ nhân là con người và không bao giờ nổi loạn. Trí tuệ nhân tạo (AI) là một công cụ và là một loại vũ khí không giống bất kỳ thứ gì khác mà con người đã phát triển; chắc chắn gần như nó sẽ cho phép những kẻ đã mạnh mẽ củng cố quyền lực của họ hơn nữa.

 

Cân nhắc việc giám sát. Nhiều quốc gia trên thế giới, bao gồm một số nền dân chủ, đang bận rộn việc xây dựng các hệ thống giám sát chưa từng có. Ví dụ, Israel là quốc gia tiên phong trong lĩnh vực công nghệ giám sát và đã tạo ra ở Bờ Tây bị chiếm đóng một nguyên mẫu hoạt động cho chế độ giám sát toàn diện. (Bờ Tây một vùng lãnh thổ nằm kín trong lục địa tại Trung Đông, là một lãnh thổ đất liền gần bờ biển Địa Trung Hải của Tây Á, tạo thành phần lớn lãnh thổ hiện nay dưới sự kiểm soát của Israel, hoặc dưới sự kiểm soát chung của Israel-Palestine, và tình trạng cuối cùng của toàn bộ khu vực vẫn chưa được quyết định bởi các bên liên quan).

 

Ngày nay, bất cứ khi nào người Palestine gọi điện thoại, đều đăng một điều gì đó trên Facebook hoặc đi từ thành phố này sang thành phố khác, họ có thể bị theo dõi bởi moro, máy ảnh, máy bay không người lái hoặc phần mềm gián điệp của Israel. Các thuật toán phân tích dữ liệu thu thập được, giúp lực lượng an ninh Israel xác định chính xác và vô hiệu hóa những gì họ cho là các mối đe dọa an ninh mạng tiềm ẩn. Người Palestine có thể quản lý một số thị trấn và các làng xã ở Bờ Tây, nhưng người Israel chỉ huy bầu trời, sóng trên không gian và không gian mạng. Do đó, điều đáng ngạc nhiên là rất ít binh sĩ Israel có thể kiểm soát hiệu quả khoảng 2,5 triệu người Palestine sống ở Bờ Tây.

 

Trong một sự cố xảy ra vào tháng 10 năm 2017, một lao động người Palestine đã đăng tải vào tài khoản Fcebook cá nhân với một bức ảnh nơi làm việc của anh, cùng với một chiếc xe máy ủi. Bên cạnh bức ảnh, anh viết: "Chào buổi sáng an lành!" Một thuật toán diễn dịch của Facebook đã mắc một lỗi nhỏ khi chuyển ngữ cái chữ cái Ả Rập. Thay vì Ysabechhum (có nghĩa là "Chào buổi sáng!), thuật toán xác định chữ cái Ydbechhum (có nghĩa là "Làm tổn thương chúng"). Nghi ngờ người đàn ông có thể là một tên khủng bố với ý định dùng xe máy ủi đất để chạy qua cán mọi người, lực lượng an ninh Israel đã nhanh chóng bắt giữ anh ta. Họ đã thả anh ta sau khi họ nhận ra rằng thuật toán đã mắc lỗi. Mặc dù như thế, bài đăng trên Fcebook vi phạm đã bị gỡ xuống - bạn không bao giờ có thể quá cẩn thận. Những gì ngày nay người Palestine đang trải qua ở Bờ Tây có thể chỉ là một bản xem trước sơ khai về những gì cuối cùng hàng tỷ người trên khắp hành tinh sẽ trải qua.

 

Ví dụ, hãy tưởng tượng, trong tương lai chế độ độc tài Cộng Sản Bắc Triều Tiên đã đạt được một phiên bản tiên tiến hơn của loại công nghệ này. Nhân dân Bắc Triều Tiên có thể được yêu cầu đeo vòng tay trắc sinh học để theo dõi mọi thứ họ hành động và nói năng, cũng như đo thân nhiệt lượng, huyết áp và hoạt động não của họ. Ngày càng tăng thêm việc sử dụng sự hiểu biết của bộ não con người và dựa trên sức mạnh to lớn của việc học máy, cuối cùng chính phủ Bắc Triều Tiên có thể đánh giá trong mỗi thời điểm những gì mỗi người dân đang suy nghĩ. Nếu một công dân Bắc Triều Tiên nhìn vào bức ảnh của lãnh đạo hiện tại chế độ độc tài Cộng Sản Bắc Triều Tiên Kim Jong Un và các cảm biến trắc sinh học phát hiện ra các dấu hiệu tức giận (huyết áp cao hơn, tăng hoạt động ở hạch hạt nhân), thì người đó có thể bị đắm chìm trong cơn tức giận vào ngày hôm sau.

 

"Xung đột giữa nền dân chủ và chế độ độc tài thực chất là xung đột giữa hai hệ thống xử lý dữ liệu khác nhau. Trí tuệ nhân tạo (AI) có thể xoay chuyển lợi thế về phía sau".

 

Và những chiến thuật cứng rắn như thế có thể không cần thiết, trong phần lớn ít nhất là thời gian. Trước mắt sự lựa chọn là nền tự do và bỏ phiếu tự do có thể vẫn còn ở một số quốc gia, ngay cả khi công chúng ngày càng ít kiểm soát thực tế hơn. Chắc chắn, những nỗ lực để tác động cảm xúc của cử tri không phải là mới. Nhưng một khi ai đó (dù ở San Francisco, Bắc Kinh hay Moscow) có đạt được khả năng làm rung động trái tim con người - một cách đáng tin cậy và ở quy mô lớn - chính trị dân chủ sẽ biến thành một màn trình diễn đầy cảm xúc.

 

Trong những thập kỷ tới, chúng ta không có khả năng phải đối mặt với một cuộc nổi loạn bởi các cổ máy có tri giác, nhưng chúng ta có thể phải đối mặt với bọn robot biết cách nhấn các nút cảm xúc của chúng ta tốt hơn mẹ của chúng ta và nó sử dụng khả năng kỳ lạ này, theo lệnh của một tầng lớp tinh hoa của nhân loại, để cố gắng bán cho chúng ta một thứ gì đó - có thể là một chiếc ô tô, một chính trị gia, hoặc toàn bộ một hệ tư tưởng. Các robot có thể xác định nỗi sợ hãi, thù hận và sự cảm giác thèm khát nhất của chúng ta và sử dụng bọn nó để chống lại chúng ta. Chúng ta đã được biết trước về điều này trong các cuộc bầu cử và trưng cầu dân ý gần đây trên toàn thế giới, khi các tin tặc học được cách thao túng từng cử tri bằng cách phân tích dữ liệu về họ và khai thác những định kiến của họ. Trong khi các bộ phim khoa học viễn tưởng kinh dị diễn tả những ngày tận thế đầy kịch tính của lửa bốc cháy và khói mịt mù, trong thực tế, chúng ta có thể đang đối mặt với một ngày tận thế tầm thường bằng cách nhấp chuột trên máy tính.

 

Tác động lớn nhất và đáng sợ nhất của cuộc cách mạng trí tuệ nhân tạo (AI) có thể đang diễn ra hiệu quả tương đối của các nền dân chủ và chế độ độc tài. Trong lịch sử, các chế độ chuyên quyền đã phải đối mặt với những khuyết tật nghiêm trọng liên quan đến đổi mới và tăng trưởng kinh tế.

 

Vào cuối thế kỷ 20, các nền dân chủ thường vượt trội hơn các chế độ độc tài, bởi họ xử lý thông tin tốt hơn nhiều. Chúng ta có xu hướng nghĩ về xung đột giữa nền dân chủ và chế độ độc tài như cuộc xung đột giữa hai hệ thống đạo đức khác nhau, nhưng thực sự nó là xung đột giữa hai hệ thống xử lý dữ liệu khác nhau. Chế độ dân chủ phân bổ quyền lực xử lý thông tin và ra quyết định cho cho nhiều người và nhiều tổ chức, trong khi chế độ độc tài tập trung thông tin và quyền lực vào những nhà cầm quyền.

 

Với công nghệ của thế kỷ 20, tập trung quá nhiều thông tin và quyền lực vào những nhà cầm quyền là không hiệu quả. Không ai có khả năng xử lý tất cả những thông tin có sẵn đủ nhanh và đưa ra quyết định đúng đắn. Đây là một lý do khiến nhà cầm quyền Đảng Cộng sản Liên Xô đưa ra những quyết định tồi tệ hơn nhiều so với Hoa Kỳ và tại sao nền kinh tế Liên Xô lại tụt hậu xa hơn so với nền kinh tế Mỹ.

 

Tuy nhiên, trí tuệ nhân tạo (AI) có thể sớm phát triển con lắc theo ngược lại. AI nó có thể giúp xử lý một lượng lớn thông tin một cách tập trung. Trên thực tế, nó có thể làm cho các hệ thống tập trung hiệu quả hơn nhiều so với các hệ thống khuếch tán, bởi vì máy học hoạt động tốt hơn khi máy tính có nhiều thông tin hơn để phân tích. Nếu bạn bỏ qua tất cả các mối quan tâm về quyền riêng tư và tập trung tất cả các thông tin liên quan đến một tỷ người trong một cơ sở dữ liệu, bạn sẽ kết quả với các thuật toán tốt hơn nhiều so với việc bạn tôn trọng quyền riêng tư cá nhân và chỉ có trong cơ sở dữ liệu của bạn một phần thông tin về một triệu người.

 

Một chính phủ độc tài ra lệnh cho tất cả công dân của họ phải trình tự Di truyền học (DNA) và chia sẻ dữ liệu y tế của họ với một số cơ quan Trung ương sẽ đạt được lợi thế to lớn trong nghiên cứu di truyền học và nghiên cứu y tế về xã hội trong đó dữ liệu y tế được bảo mật nghiêm ngặt. Khuyết điểm chính của các chế độ độc tài vào thế kỷ 20 - mong muốn tập trung tất cả thông tin và quyền lực vào các nhà cầm quyền - có thể trở thành lợi thế quyết định của họ trong thế kỷ 21.

 

Tất nhiên, các công nghệ mới sẽ tiếp tục xuất hiện và một số trong số chúng có thể khuyến khích sự phân phối hơn là tập trung thông tin và quyền lực. Công nghệ chuỗi khối và việc sử dụng tiền điện tử được kích hoạt bởi nó, hiện đang được chào mời như một đối trọng có thể đối với quyền lực tập trung. Nhưng công nghệ blockchain vẫn đang trong giai đoạn phôi thai và chúng ta vẫn chưa biết liệu nó có thực sự đối trọng xu hướng tập trung của trí tuệ nhân tạo (AI) hay không. Hãy nhớ rằng Internet cũng vậy, những ngày đầu được thổi phồng như quảng cáo một loại dược liệu chữa trị bách bệnh cho chủ nghĩa tự do có thể giải phóng mọi người thoát khỏi tất các hệ thống tập trung - nhưng giờ đây đã sẵn sàng để làm cho quyền lực tập trung trở nên mạnh mẽ hơn bao giờ hết.

 

IV. Sự chuyển giao quyền lực cho máy móc

 

Ngay cả khi một số xã hội bề ngoài vẫn là dân chủ, hiệu quả ngày càng tăng cao bởi các thuật toán sẽ vẫn chuyển biến nhiều hơn và nhiều quyền hạn hơn từ con người cá nhân sang các máy tính được nối mạng.  Chúng ta có thể sẵn sàng buông xả nhiều hơn và có nhiều quyền hơn đối với cuộc sống, bởi chúng ta sẽ học hỏi từ kinh nghiệm để tin tưởng vào các thuật toán hơn là cảm xúc của chính mình, cuối cùng chúng ta sẽ đánh mất khả năng đưa ra nhiều quyết định cho bản thân.

 

Chỉ cần nghĩ về cách này, chỉ trong vài thập kỷ, hàng tỷ người đã giao phó cho thuật toán tìm kiếm trên Google với một trong những nhiệm vụ quan trọng nhất: tìm kiếm thông tin có liên quan và đáng tin cậy. Khi chúng ta dựa nhiều hơn vào Google để có câu trả lời, khả năng định vị thông tin một cách độc lập của chúng ta giảm đi. Ngày nay, "sự thật" được xác định bởi các kết quả hàng đầu của việc tìm kiếm trên Google.

 

Quá trình này cũng đã ảnh hưởng đến khả năng thể chất của chúng ta, chẳng hạn như điều hướng không gian. Mọi người yêu cầu Google không chỉ để tìm thông tin mà còn để hướng dẫn xung quanh họ. Xe tự lái và các bác sĩ trí tuệ nhân tạo (AI) sẽ đại diện cho sự xói mòn hơn nữa: Trong khi những đổi mới này sẽ khiến các tài xế lái xe tải và bác sĩ con người bị thất nghiệp, nhập khẩu lớn hơn của chúng nằm ở việc tiếp tục chuyển giao quyền hạn và trách nhiệm cho máy móc.

 

Con người thường nghĩ về cuộc sống như một vở kịch trên sân khấu của quá trình thành quả. Nền dân chủ tự do và chủ nghĩa tư bản thị trường tự do coi cá nhân như một tác nhân liên tục tự chủ đưa ra các lựa chọn về thế giới. Các tác phẩm nghệ thuật - có thể là vở kịch của một trong những đại văn hào lỗi lạc nhất mọi thời đại William Shakespeare, tiểu thuyết của nữ văn sĩ người Anh, tác giả của những tác phẩm nổi tiếng Jane Austen, hay dòng phim hài ở Hollywood - thường xoay quanh việc người anh hùng phải đưa ra một quyết định quan trọng nào đó. Tồn tại hay không tồn tại? Vở bi kịch về Macbeth là vở bi kịch ngắn nhất của William Shakespeare được cho là viết vào khoảng 1603 và 1607, trong đó, để nghe lời vợ tôi và giết vua Duncan, hay nghe theo tiếng gọi của lương tâm của tôi và tha thứ cho ông ta? Kết duyên hôn nhân với ông William Collins (một nhân vật hư cấu trong tiểu thuyết năm 1813 Kiêu hãnh và định kiến bởi Jane Austen) hay ông Fitzwilliam Darcy? Tương tự như thế, thần học Cơ đốc giáo và Hồi giáo tập trung vào vở kịch của việc ra quyết định, lập luận rằng sự cứu rỗi đời đời phụ thuộc vào việc lựa chọn đúng.

 

Điều gì sẽ xảy ra với quan điểm sống này khi chúng ta dựa vào trí tuệ nhân tạo (AI) để đưa ra nhiều quyết định hơn cho chúng ta? Ngay cả bây giờ, chúng ta tin tưởng Netflix sẽ giới thiệu phim Spotify để chọn nhạc mà chúng ta thích. Nhưng tại sao sự hữu ích của trí tuệ nhân tạo (AI) lại dừng ở đó?

 

Mỗi năm có hàng triệu sinh viên đại học cần quyết định học gì. Đây là một quyết định rất quan trọng và khó khăn, bị áp lực từ cha mẹ, bạn bè và các giáo sư, những người có sở thích và quan điểm khác nhau. Nó cũng bị ảnh hưởng bởi những nỗi sợ hãi và tưởng tượng cá nhân của chính sinh viên học sinh, vốn được định hình bởi các loại văn hóa qua phim ảnh, tiểu thuyết và các chiến dịch quảng cáo. Vấn đề phức tạp, thực sự một sinh viên nhất định không cần biết những gì để thành công trong một nghề nhất định và không nhất thiết phải có ý thức thực tế về điểm mạnh và điểm yếu của bản thân.

 

Để thấy rằng không quá khó để biết một ngày nào đó trí tuệ nhân tạo (AI) có thể đưa ra quyết định nghề nghiệp chúng ta tốt hơn và có lẽ cả về các mối quan hệ. Nhưng một khi chúng ta bắt đầu dựa vào trí tuệ nhân tạo (AI) để quyết định học gì, nơi làm việc và thề non hẹn biển với ai đó hoặc thậm chí kết hôn, cuộc sống của con người sẽ không còn là một vở kịch về việc ra quyết định và quan niệm sống của chúng ta sẽ cần phải thay đổi. Các cuộc bầu cử dân chủ và thị trường tự do có thể không còn ý nghĩa. Hầu hết các tôn giáo và tác phẩm nghệ thuật cũng thế. Hãy tưởng tượng tiểu thuyết Anna Karenina dùng điện thoại thông minh của mình ra và hỏi Siri liệu cô ấy có nên kết hôn với Anna Karenina hay bỏ trốn với vị sĩ quan kỵ binh bảnh bao, Bá tước Alexei Kirillovich Vronsky. Hoặc tưởng tượng nhà viết kịch, nhà thơ, diễn viên William Shakespeare, người yêu thích của bạn với tất cả các quyết định quan trọng được thực hiện bởi một thuật toán của Google. Hamlet và Macbeth sẽ có cuộc sống thoải mái hơn nhiều, nhưng những kiểu sống đó như thế nào? Chúng ta có những mô hình để tạo nên ý nghĩa của cuộc sống như thế không?

 

Quốc hội và các đảng chính trị có thể vượt qua được những thách thức này hay không và ngăn chặn những viễn cảnh đen tối hơn? Thời điểm hiện tại, điều này dường như không có khả năng xảy ra. Thậm chí sự gián đoạn công nghệ không phải là một mục chính trong chương trình nghị sự chính trị. Trong cuộc đua tranh cử ghế Tổng thống Hoa Kỳ năm 2016, đề cập chính đến công nghệ đột phá liên quan đến sự cố mail của cựu Tổng thống Hillary Clinton và bất chấp tất mọi lời bàn tán về vấn đề mất việc, không ứng cử viên nào trực tiếp được giải quyết, tác động tiềm tàng của tự động hóa. Cựu Tổng thống Donald Trumq cảnh báo cử tri rằng người Mexico sẽ nhận việc của họ và do đó người Mỹ nên xây một bức tường ở biên giới phía nam của mình. Ông chưa bao giờ cảnh báo cử tri rằng các thuật toán sẽ lấy đi công việc của họ, ông cũng không đề nghị xây dựng một bức tường lửa xung quanh California.

 

Thế thì chúng ta nên làm gì?

 

Đối với những người mới bắt đầu, chúng ta cần đặt ưu tiên cao hơn nhiều vào việc tìm hiểu cách thức hoạt động của tâm trí con người - đặc biệt là cách vun bồi trí tuệ và từ bi tâm của chính bản thân chúng ta. Nếu chúng ta đầu tư quá nhiều vào trí tuệ nhân tạo (AI) và quá ít trong việc phát triển trí óc con người, trí tuệ nhân tạo (AI) của máy tính rất tinh vi có thể chỉ phục vụ để trao quyền cho sự ngu ngốc tự nhiên của con người và nuôi dưỡng những xung động tồi tệ nhất (nhưng cũng có thể là mạnh mẽ nhất) của chúng ta, trong số đó có tam độc tham, sân, si. Để tránh hậu quả như thế, cứ mỗi đô la và mỗi phút chúng ta đầu tư vào việc cải thiện trí tuệ nhân tạo (AI), chúng ta sẽ là khôn ngoan nếu đầu tư một đô la và một phút vào việc khám phá và phát triển ý thức con người.

 

Hơn thế nữa, thực tế hơn và ngay lập tức, nếu chúng ta muốn ngăn chặn sự tập trung của tất cả của cải và quyền lực nằm trong tay của một tầng lớp nhỏ, chúng ta phải điều chỉnh quyền sở hữu dữ liệu. Vào thời cổ đại, đất đai là tài sản quan trọng nhất, vì vậy chính trị là một cuộc đấu tranh để kiểm soát đất đai. Thời kỳ hiện đại, máy móc và nhà xưởng trở nên quan trọng hơn đất đai, vì vậy các cuộc đấu tranh chính trị tập trung vào việc kiểm soát các tư liệu sản xuất quan trọng này. Trong thế kỷ 21, dữ liệu sẽ làm mờ nhạt cả đất đai và máy móc như là tài sản quan trọng nhất, cho nên chính trị sẽ là một cuộc đấu tranh để kiểm soát nguồn dữ liệu.

 

Thật chẳng may, chúng ta không có nhiều kinh nghiệm trong việc quản lý quyền sở hữu dữ liệu, vốn dĩ là một nhiệm vụ khó khăn hơn nhiều so với việc quản lý đất đai hoặc máy móc. Dữ liệu ở khắp mọi nơi và không ở đâu cùng lúc, chúng có thể di chuyển với tốc độ ánh sáng và bạn có thể tạo bao nhiêu bản sao của chúng tùy ý. Dữ liệu thu thập được về Di truyền học (DNA) của tôi, bộ não của tôi và cuộc sống của tôi thuộc về tôi hay thuộc về chính phủ, hoặc cho một công ty hay cho tập thể con người?

 

Đã bắt đầu cuộc đua tích lũy dữ liệu và hiện đang được tiên phong bởi những gã khổng lồ như Google và Facebook, tại Trung Quốc là Baidu và Tencent. Cho đến nay, trong số này đã có nhiều công ty hoạt động như "những thương nhân gây sự chú ý" - họ thu hút sự chú ý của chúng ta bằng cách cung cấp cho chúng ta thông tin, dịch vụ và giải trí miễn phí, sau đó họ bán lại sự quan tâm của chúng ta cho các nhà quảng cáo. Tuy nhiên, thực sự công việc kinh doanh của họ không chỉ đơn thuần là bán quảng cáo. Thay vào đó, bằng cách thu hút sự quan tâm của chúng ta, họ quản lý để tích lũy lượng dữ liệu khổng lồ về chúng ta, những dữ liệu này đáng giá hơn bất kỳ doanh thu quảng cáo nào. Chúng ta không phải là khách hàng của họ - chúng ta là sản phẩm của họ.

 

Trong quá trình này người bình thường sẽ rất khó cưỡng lại. Hiện tại, nhiều người trong chúng ta rất vui khi cho đi tài sản quý giá nhất của mình - dữ liệu cá nhân - để đổi lấy dịch vụ email miễn phí và các video vui nhộn về các cô cậu mèo. Nhưng nếu sau này, những người bình thường quyết định cố gắng chặn luồng dữ liệu, họ có thể sẽ gặp khó khăn khi làm như thế, đặc biệt là vì họ có thể đã dựa vào mạng Internet để giúp họ đưa ra quyết định và thậm chí đối với sức khỏe và sự sống còn về thể chất của họ.

 

Việc quốc hữu hóa dữ liệu của các chính phủ có thể đưa ra một giải pháp; chắc chắn nó sẽ kìm hãm sức mạnh của các tập đoàn lớn. Nhưng lịch sử cho thấy rằng chúng ta không nhất thiết phải hoàn hảo hơn khi nằm trong tay các chính phủ toàn năng. Vì vậy, tốt hơn hết chúng ta nên kêu gọi các nhà khoa học, các nhà triết học, luật sư của chúng ta và ngay cả các nhà thơ của chúng ta chuyển hướng sự chú ý của họ đến câu hỏi hóc búa này: Làm thế nào bạn điều chỉnh quyền sở hữu dữ liệu?

 

Hiện nay, nhân loại có nguy cơ trở nên tương tự như động vật đã được thuần hóa. Chúng ta đã lai tạo ra những con bò ngoan ngoãn, sản xuất ra một lượng sữa khổng lồ nhưng lại kém xa tổ tiên hoang dã của chúng ta. Các Ngài ấy kém nhanh nhẹn, ít tò mò và ít tháo vát. Hiện chúng ta đang tạo ra những con người thuần hóa, những người tạo ra lượng dữ liệu khổng lồ và hoạt động như những con chip hiệu quả trong một cơ chế xử lý dữ liệu khổng lồ, nhưng hầu như họ không phát huy hết tiềm năng của con người thật. Nếu chúng ta không cẩn thận, chúng ta sẽ kết thúc với việc con người bị hạ cấp lạm dụng các máy tính đã được nâng cấp để tàn phá bản thân và thế giới.

 

Nếu bạn thấy những triển vọng này đáng báo động - nếu bạn không thích ý tưởng sống trong một chế độ độc tài kỹ thuật số hoặc một số tương tự hình thức xã hội suy thoái - thì đóng góp quan trọng nhất mà bạn có thể làm là tìm cách để ngăn chặn việc quá nhiều dữ liệu tập trung vào quá ít người bà cũng tìm cách giữa cho việc xử lý dữ liệu phân tán hiệu quả hơn so với việc xử lý dữ liệu tập trung. Đây sẽ không phải là những nhiệm vụ dễ dàng. Nhưng chúng đạt được có thể là biện pháp bảo vệ hoàn hảo nhất cho nền dân chủ.

 

Sử gia, triết gia, tác giả, Thiền giả Giáo sư Tiến sĩ Yuval Noah Harari (sinh ngày 24 tháng 2 năm 1976), triết gia, một nhà Phật học uyên thâm, một thiền giả thâm niên trong thực nghiệm thiền Vipassana, một nhà sử học người Israel và là giáo sư Khoa Lịch sử tại Đại học Hebrew Jerusalem, Đại học Tel Aviv...

 

 Thiền giả Yuval Noah Harari là tác giả của các cuốn sách bán chạy thế giới Sapiens: Lược sử loài người (2014), Homo Deus: Lược sử tương lai (2016) và 21 bài học cho thế kỷ 21 (2018). Các bài viết của ông xoay quanh ý chí tự do, ý thức và trí thông minh.

 

Tác giả Sử gia Yuval Noah Harari

Biên dịch Thích Vân Phong

(Nguồn: The Atlantic)

Gửi ý kiến của bạn
Tắt
Telex
VNI
Tên của bạn
Email của bạn
28/02/2024(Xem: 1022)
Đức Thánh Tổ Đại Ái Đạo Kiều Đàm Di, Người đã dấn thân vượt khó cầu xin Đức Phật cho phép Ni giới được xuất gia, hội nhập Tăng Đoàn, đã mở ra trang sử rạng ngời cho Ni giới ngày nay. Với lòng hoài niêm ân xưa, chư Ni miền Nam California chúng con hằng năm đều hân hoan, thành kính tổ chức Đại Lễ Tưởng Niệm Đức Thánh Tổ Kiều Đàm Di.
31/12/2023(Xem: 1180)
Vào ngày 27/12/2023, chùa Đức Viên tọa lạc tại số 2420 McLaughlin Avenue, thành phố San Jose, Hoa Kỳ đã trang nghiêm tổ chức Lễ khai mạc khóa tu thiếu nhi mùa Đông 2023. Khóa tu được tổ chức 4 ngày, từ ngày 27/12 đến ngày 30/12/2023. Tham dự khóa tu thiếu nhi mùa Đông năm nay có khoảng 200 thiếu nhi và đông đảo chư Ni; quý vị cha mẹ, anh chị phục vụ các công việc: hướng dẫn tu học, trang trí, âm thanh, truyền thông, nhiếp ảnh, ẩm thực, vệ sinh, trật tự v.v… Các em được chia thành 9 nhóm (theo lứa tuổi) và nhóm Sen Búp. Mỗi nhóm được quý Sư cô cùng các cô, các anh, các chị lớn phụ trách. Thời gian tu học và vui chơi mỗi ngày từ 08 giờ sáng đến 07 giờ tối.
30/12/2023(Xem: 1442)
Đoàn chư Ni và Phật tử Tu viện Huyền Không (San Jose, Hoa Kỳ), chùa An Lạc (Indianapolis, Hoa Kỳ) và chùa Đức Nguyên (Việt Nam) hành hương chiêm bái Phật tích Ấn Độ và Nepal từ ngày 01/11 đến ngày 20/11/2023 dưới sự hướng dẫn của Ni sư Thích Nữ Nguyên Thiện và Ni sư Thích Nữ Viên Tâm.
26/10/2023(Xem: 1848)
Sự hiện diện của rất nhiều người là từ bi tâm và sự cống hiến của họ đã chạm đến tâm hồn và cuộc sống của rất nhiều người. So sánh sự hảo tâm hào phóng, sự tu tập và thành quả nỗ lực của bạn, thực sự tôi chỉ là một con cá bé nhỏ. Nhưng thà làm một con cá nhỏ bé tung tăng ngâm mình trong suối nguồn từ bi, còn hơn là một con cá nhỏ bị rán trong chảo lửa giận dữ.
09/08/2023(Xem: 1703)
Nổi tiếng vì đã ưu tiên Chỉ số Tổng hạnh phúc quốc gia (GNH) hơn là tính hám lợi vì lợi nhuận của chủ nghĩa tư bản phóng túng, Vương quốc Phật giáo Bhutan, nép mình trên cao nguyên trong bầu không khí hiếm có của phía đông Hymalaya, cũng đang có những bước tiến trong lĩnh vực bảo tồn động vật hoang dã. Báo cáo lần thứ tư về việc Khảo sát Bảo tồn loài Hổ Quốc gia Bhutan, gần đây Trung tâm Bảo tồn loài Hổ Quốc gia Bhutan hợp tác với Chính phủ Bhutan
19/04/2023(Xem: 2439)
Trong khi các chính trị gia và nhà đầu tư trên khắp thế giới ca ngợi việc thực hành chánh niệm như một công cụ “trấn tỉnh” để giảm mức độ căng thẳng, tăng năng suất và duy trì sự tập trung, không coi trọng trí tuệ là ưu tiên hàng đầu mà là sản phẩm phụ phát sinh từ chánh niệm sâu sắc. Nhưng trí tuệ là một trong ba thành phần không thể thiếu của giáo lý nhà Phật, cùng với kỷ luật đạo đức và định tâm, để phát triển cá nhân và trau dồi tinh thần.
17/03/2023(Xem: 2132)
Phật tử Tích Lan cung nghinh HT Thông Hải với nghi thức trang trọng
24/02/2023(Xem: 3106)
Chùa Hương Sen tổ chức Hành Hương Ấn Độ và làm từ thiện từ ngày 21/06 đến 18/07/2023
15/02/2023(Xem: 10699)
Sau hơn một năm hoạt động kể từ khi Hội Đồng Hoằng Pháp (HĐHP) được hình thành với sự tán trợ của Viện Tăng Thống GHPGVNTN, cùng với sự thành lập Hội Đồng Phiên Dịch Tam Tạng Lâm Thời (HĐPDTTLT, do Hòa thượng Tuệ Sỹ chủ xướng), Lễ Giới Thiệu Thành Tựu Sơ Bộ Công trình Phiên dịch và Ấn hành Đại Tạng Kinh Việt Nam sẽ được tổ chức qua hệ thống Zoom, vào ngày 17/7/2022 – 10 giờ sáng, giờ Việt Nam trên hệ thống trực tuyến toàn cầu ZOOM
facebook youtube google-plus linkedin twitter blog
Nguyện đem công đức này, trang nghiêm Phật Tịnh Độ, trên đền bốn ơn nặng, dưới cứu khổ ba đường,
nếu có người thấy nghe, đều phát lòng Bồ Đề, hết một báo thân này, sinh qua cõi Cực Lạc.

May the Merit and virtue,accrued from this work, adorn the Buddhas pureland,
Repay the four great kindnesses above, andrelieve the suffering of those on the three paths below,
may those who see or hear of these efforts generates Bodhi Mind, spend their lives devoted to the Buddha Dharma,
the Land of Ultimate Bliss.

Quang Duc Buddhist Welfare Association of Victoria
Tu Viện Quảng Đức | Quang Duc Monastery
Senior Venerable Thich Tam Phuong | Senior Venerable Thich Nguyen Tang
Address: Quang Duc Monastery, 105 Lynch Road, Fawkner, Vic.3060 Australia
Tel: 61.03.9357 3544 ; Fax: 61.03.9357 3600
Website: http://www.quangduc.com ; http://www.tuvienquangduc.com.au (old)
Xin gửi Xin gửi bài mới và ý kiến đóng góp đến Ban Biên Tập qua địa chỉ:
quangduc@quangduc.com , tvquangduc@bigpond.com
KHÁCH VIẾNG THĂM
110,220,567