What Is Explainable Artificial Intelligence?

Cập nhật thông tin chi tiết về What Is Explainable Artificial Intelligence? mới nhất ngày 20/09/2020 trên website Doisonggiaitri.com. Hy vọng nội dung bài viết sẽ đáp ứng được nhu cầu của bạn, chúng tôi sẽ thường xuyên cập nhật mới nội dung để bạn nhận được thông tin nhanh chóng và chính xác nhất. Cho đến thời điểm hiện tại, bài viết này đã đạt được 2,475 lượt xem.

This article is part of Demystifying AI, a series of posts that (try to) disambiguate the jargon and myths surrounding AI.

If your bank declines your loan application, the person who made the decision must be able to provide an explanation of the process and information that led to the rejection. But we are increasingly entrusting our decisions to artificial intelligence algorithms, and in many cases, we don’t know how those algorithms function.

The difficulty in interpreting AI-based decisions has become an aggravating concern, especially as AI finds a prominent role in critical domains such as medicine, law enforcement, banking and transportation. The lack of visibility into how AI algorithms work raise challenges, especially in fields where wrong decisions can cause irreparable harm or where regulations legally allow inpiduals to challenge automated decisions and require decision-makers to provide explanations for their actions.

Known as the ” AI black box,” the problem has spurred several scientists, startups and companies to find ways to create explainable artificial intelligence, AI that explains its decisions or is open to investigation.

Why is it hard to interpret AI decisions?

Firstly, artificial intelligence is a loaded term and encompasses a lot of different technologies, and not all of its subsets suffer from the black box problem. What we’re specifically concerned with is deep learning and neural networks, a branch of AI that has become very popular in the past few years.

Neural networks are software constructs named after the human brain functionality-though we know that they are fundamentally different from the way the human mind works. Unlike traditional software, where human programmers meticulously write all the rules of an application, neural networks and deep learning algorithms are given relevant sets of data and left to create their own rules. The most basic way to train a neural network is to feed it with a set of labeled examples, a process called “supervised learning.” It then finds common patterns and correlations between those examples and uses that information to categorize unlabeled examples.

For instance, when you give a neural network a million labeled pictures of different cat species, it runs those images through layers upon layers of artificial neurons and “learns” what are the common traits of cat pictures. It will then be able to spot cats in new pictures it has never seen before. This is an approach that is extremely effective in tasks that are hard to define with classic rules, such as image classification and voice recognition.

However, since neural networks effectively create their own rules, we can’t know for sure the details of their inner workings. For instance, both a human and a neural network might say the animals in the following picture are cats, but not for the same reasons.

Humans will tell you that cats have pointy ears, triangular noses, whiskers, furry tails… A neural network has no understanding of the different body parts of a cat. It can only tell with a high level of confidence that these pictures contain cats because the structure and color of their pixels resembles the millions of cat pictures it has previously seen.

This is the basic reason why neural networks are opaque. They are black boxes that receive inputs and produce outputs without giving explanations. This is all fine while everything works perfectly. But things can turn problematic when mistakes happen-and mistakes do happen.

Why is explainable AI important?

The human mind is not perfect, a fact that everyone agrees on. We make mistakes all the time, but we can explain the logic behind those mistakes. For instance, a human might mistake a person from someone else and say that from that specific angle, the facial features along with the physical stature made them make the erroneous distinction.

Like humans, neural networks make mistakes. But because of their underlying differences, their mistakes are dramatically different from those of humans, and we can’t know how they fail. For instance, they might mistake a turtle for a rifle, a cat for guacamole or a panda for a gibbon. What makes this significant is that no human would make the same mistake, and that is because as previously mentioned, our visual system is fundamentally different. This means that, without being able to interpret the way AI algorithms work, we have no way to anticipate how the AI black box will fail.

Unexpected mistakes can range from annoying (bad results in image search) to embarrassing (labeling dark-skinned people as gorillas) to harmful (an autonomous vehicle crashing into a tractor-trailer because of AI failure).

Moreover, our AI algorithms might develop hidden biases and manifest sexist or racist behavior and cause emotional, financial or legal damage to their users. On a more critical level, hackers can use the blind spots of neural networks to stage “adversarial attacks,” or force them to work in malicious ways, such as tricking an autonomous vehicle into bypassing a stop sign or a facial lock to mistake some random person for the real owner of a device and give them access to its data.

All of these accidental and intentional mistakes will remain under a shroud of mystery so long as we don’t have ways to explain and investigate decisions made by artificial intelligence.

The legal requirements of explainable AI

Aside from the mishaps, the use of non-explainable AI presents challenges in domains that explicitly require all decisions to be retraceable. An example is law, where the defendant should be able to challenge the decision made by the court. If judges use automated software based on neural networks to pass judgement-even if they use software as a guide for suggestions-they should be able to explain the motives and facts behind their decision.

Other areas include medicine, where doctors should be able to investigate and cross-examine any therapy and treatment suggestion that a deep learning algorithm might suggest. In loan application and banking (mentioned at the beginning of the article), an applicant whose request has been rejected is entitled to seeing the details of the process that led to their application being turned down.

There are also an increasing number of regulations that are restricting how companies and organizations make use of automated decisions, especially as data collection and mining practices by tech companies have been at the center at a number of widespread scandals.

One very important example is the European Union’s General Data Protection Rules (GDPR). The GDPR states: “The data subject shall have the right not to be subject to a decision based solely on automated processing.” The key here is the word “solely,” which means that if an organization wants to use automated decision-making (say for processing loan applications or employee salary adjustments), a human must examine and confirm the conclusions that an AI algorithm reaches before implementing them. But that person can only vet the automated decision if they can retrace the steps that led to it.

Another example is the New York City Council’s algorithmic accountability bill, which will require the validity and fairness of automated decisions to be verifiable. We are likely to see more of such regulations as deep learning and other AI techniques find their way into different aspects of our daily lives.

The different approaches to creating explainable AI

Explainable AI is still an evolving field and scientists are trying to find different ways to make neural networks interpretable without compromising their performance. We have yet to see standards emerge, there are however several interesting initiatives that are aimed at creating explainable AI and keeping track of where the defining attributes for an automated decision come from.

Prominent among them is the Defense Advanced Research Projects Agency’s Explainable Artificial Intelligence project (XAI). DARPA, which is the research arm of the U.S. Defense Department, is exploring interpretable AI as part of its drive to increase the use of automated tools in various areas of the military.

There are also a slate of AI startups and large tech companies that are working on the subject. As we have discussed in these pages, opening the lid of the black box will be a key component of enabling AI to take the next big leap.

While the specific approaches to explainable AI are a bit technically involved to discuss them here, from a high-level perspective, there are basically two ways to interpret AI decisions.

The first, which is the simpler and more achievable of the two, has to do with investigating AI decisions after they happen. For instance, this means that if a neural network wrongly classifies the image of desert dunes as nude pictures, the operators of the application should be able to investigate the error. There are already methods that allow this kind of post-decision investigation. Staying on the image classification example, when you give an input to a neural network, it usually returns a list of classes, each with a confidence score. Scientists can investigate how different parts of the image have influenced the decision of the neural network by making small changes to the input and observing how those changes affect the weights of the output classes.

One of the methods that can help automate this process is generative adversarial networks (GAN), which pits two neural networks against each other to maximize one kind of result. For instance, a GAN can start fiddling with an image at very high speed and generate a map of which areas of the image are affecting which output class.

Though effective, the first approach still doesn’t look inside the AI black box and is still tackling the issue from the outside. Also, there are instances where we want to know how an AI works before it makes a decision, not after.

The second approach to explainable AI, which is much more challenging, is creating mechanisms that can shed light on the inner workings of neural networks. This is crucial in areas where you want to investigate the potential vulnerabilities of a neural network (say the computer vision technology used in self-driving cars) before deploying it in the real world.

The problem is that neural networks are best optimized when they are left to create their own complex connections. As soon as you try to break down the complexity to help a human analyst to explore its mechanisms, you risk damaging its speed and efficiency.

This is an interesting area of research, with many efforts going into AI algorithms being able to self-explain their own decision-making processes. We have yet to see some notable results in this domain and we might still be a few years (or decades) away from AI algorithms that can explain their own inner-mechanisms.

Until then, we’ll have to p out how to create techniques that can bring more transparency, interpretability and accountability to an industry that is becoming more relevant in every aspect of our lives.

Liên quan

Ethernet Switch Có Chức Năng Gì? - Xem 21,186

Ethernet Switch có chức năng gì? Switch là một thiết bị chọn lựa đường dẫn để gửi frame đến đích, hoạt động ở Lớp 2 của mô hình OSI. Đôi khi Switch còn được gọi là Bridge đa port hay Hub chuyển mạch. Switch quyết định chuyển frame dựa trên ... Switch tập trung các kết nối và quyết định chọn đường dẫn để truyền dữ liệu hiệu quả. Frame được chuyển mạch từ cổng nhận vào đến cổng phát ra. Mỗi cổng là một kết nối cung cấp chọn băng thông cho

Oxit Axit Là Gì? Tính Chất Hóa Học Và Hướng Dẫn Bài Tập Oxit Axit - Xem 18,315

Oxit axit là các oxit khi tác dụng với nước sẽ tạo ra axit, tác dụng với kiềm tạo thành muối hóa học. Oxit axit thường là oxit của phi kim ứng với một axit hoặc kim loại có hóa trị cao. Vậy tính chất hóa học của oxit axit ... Vậy tính chất hóa học của oxit axit là gì? Cách giải bài tập oxit axit tác dụng với bazo như thế nào? Cách gọi tên oxit axit Tên oxit axit: (Tên tiền tố chỉ số nguyên tử của phi kim) + Tên phi kim + (tên tiền tố chỉ số nguyên tử oxi) + ''Oxit'' Tính chất hóa học của oxit axit Trừ SiO 2 thì hầu hết các oxit axit đều tan trong nước để tạo thành dung dịch axit. Tác dụng với oxit bazo tan để tạo

Drama Là Gì ? Ý Nghĩa Của Từ Drama Trên Facebook Là Gì? - Xem 15,642

Xã hội ngày càng phát triển kéo theo nhiều trào lưu xuất hiện, các thuật ngữ, ngôn từ mới lạ ngày càng nhiều trên các mạng. Những nội dung, các câu chuyện có tính chất kịch tính, gay cấn kéo dài luôn dành được sự quan tâm của các bạn ... Và họ gọi đó là drama. Vậy cụ thể drama là gì ? Hít drama là gì ? Hãy cùng tìm hiểu trong các bài viết sau đây nhé ! Drama là gì ? Drama theo nghĩa gốc dịch từ tiếng anh qua thì nó nghĩa là tuồng, kịch. Nhưng hiện tại trên facebook, ngoài nghĩa đó thì drama còn mang nhiều nghĩa khác như: phim dài tập để phân biệt với phim một tập

Kimochi Yamate Là Gì? Ý Nghĩa Của I Cư Kimochi Yamete Trong Tiếng Nhật? - Xem 11,088

Kimochi Yamate hay i cư kimochi và i kư kimochi là những thuật ngữ, cụm từ được sử dụng khả phổ biến trong thời đại hiện nay. Nhưng bạn có thật sự hiểu được nghĩa của từ kimochi là gì? Ở bài viết dưới đây, Doisonggiaitri.com sẽ giải đáp toàn ... Mời các bạn cùng tham khảo. Kimochi là gì? Nhắc đến Kimochi thì hầu như ai cũng biết đây là âm thanh quen thuộc được nhắc đến tại xứ sở hoa anh đào - Nhật Bản. Và ở trong tiếng Nhật thì Kimochi là từ nghĩa mang hàm ý biểu đạt cảm xúc, tâm trạng thích thú của một người nói sau khi đã chứng kiến một sự vật hay hiện tượng nào đó. Còn trong tiếng Anh thì kimochi được hiểu đồng

Đa Dạng Sinh Học Là Gì? Nguyên Nhân, Biện Pháp Hạn Chế Suy Giảm Đa Dạng Sinh Học - Xem 10,395

Đa dạng sinh học là sự phong phú của nhiều nhiều dạng, loài và các biến dị di truyền của mọi sinh vật trong đời sống tự nhiên, sự đa dạng và phong phú này được chia làm nhiều cấp độ tổ chức sinh giới đặc biệt là với các ... Các bạn có thể tìm hiểu thêm khái niệm đa dạng sinh học là gì, giá trị đa dạng sinh học cũng như nguyên nhân và biện pháp cụ thể để hạn chế suy giảm đa dạng sinh học trong bài viết dưới đây! Thế nào là đa dạng sinh học? Đa dạng sinh học là bao gồm nhiều dạng và cá thể của các loài cùng với những biến dị di truyền của thế giới sinh vật, cũng như nhiều dạng của các cấp độ

Giải Vbt Vật Lý Lớp 6 - Xem 10,197

Giải bài tập môn Vật lý 6 Giải VBT Vật lý lớp 6 – Bài 8: Trọng lực – Đơn vị lực là tài liệu tham khảo môn Vật lý 6 hay dành cho các em học sinh, giúp các em ôn tập và củng cố kiến thức đã học ... Do trọng lượng tác dụng lên vật nặng và lực căng của sợi dây là hai lực cân bằng nên sợi dây có phương thẳng đứng. Để dây dọi bên cạnh chiếc gậy và điều chỉnh sao cho chiếc gậy song song với sợi dây. Khi đó cây gậy đã

Z Là Gì Trong Toán Học? - Xem 9,999

Bạn có từng nghe về tập hợp R trong toán học chưa? Hẳn là rất rất quen phải không? Dĩ nhiên rồi vì lớp 6 lớp 7 chúng ta được học cái này mà. Vậy Z là gì trong toán học nhỉ? “Tập hợp Z là tập hợp các số ... Vậy Z là gì trong toán học nhỉ? "Tập hợp Z là tập hợp các số nguyên âm, số nguyên dương và số 0. Z= {...; -2; -1; 0; 1; 2; ...}" VD: -10; -9; -8; 100 ; 0 đều thuộc tập hợp Z Tập hợp z trong toán học còn có một tên gọi khác là số nguyên. Tập hợp số nguyên chỉ ra các số nguyên là miền xác định nguyên duy nhất mà các phần tử dương của nó được sắp thứ tự tốt và các thứ tự đó

Tb Là Gì Trên Facebook? - Xem 9,504

TB nghĩa là gì? TB là viết tắt của từ gì? TB là 1 từ viết tắt có rất nhiều nghĩa tiếng việt và tùy từng ngữ cảnh mà ta hiểu nó sẽ có nghĩa là gì, dưới đây là các nghĩa hay được sử dụng nhất của từ viết ... Đơn vị này cao cấp hơn Gigabyte - GB. 1 TB = 1024 GB 5 TB = 5120 GB 10 TB = 10240 GB Ví dụ: Bạn có ổ cứng dung lượng 2 TB tức là ổ cứng của bạn bằng 2048 GB Một bộ phim, thư mục, video có dung lượng 1TB tức là 1048 GB -phim HD dung lượng cao. Vậy nếu bạn thấy đứng đằng trước TB là 1 con số thì nó thường là viết tắt của cụm từ Terabyte TB trên Facebook nghĩa là gì? Đối với

Số Cvv/cvc Trên Thẻ Atm Vietcombank Là Gì? - Xem 9,009

Số Cvv/Cvc trên thẻ atm đang được rất nhiều chủ thẻ quan tâm. Nhất là với những người dùng thẻ atm Vietcombank. Vậy số Cvv/Cvc trên thẻ atm vietcombank là gì? Bị lộ có sao không? Số Cvv/Cvc trên thẻ atm vietcombank là gì? Không phải ai dùng thẻ atm ... Thì tốt nhất bạn nên xóa mã số này trên thẻ atm. Hoặc có thể dùng cách nào đó che bớt lại cũng được. Như vậy người khác sẽ không có khả năng biết được con số này ngoài bạn. Nhưng trước khi xóa số Cvv/Cvc trên thẻ

Mã Zip Iphone Là Gì? - Xem 8,514

Zip Code (mã zip) là một trong những khái niệm không quá xa lạ đối với thế hệ trẻ. Chúng liên quan trực tiếp tới quy trình giao – Nhận bưu kiện khi mua sắm online hay đặt hàng thông qua các ứng dụng giao dịch trực tuyến. Không chỉ ... Mục đích của các loại Zip Code là hỗ trợ xác định vị trí người nhận từ đó giúp cho quá trình vận chuyển hàng hoá bưu phẩm trở nên dễ dàng hơn. Được phổ biến lần đầu tiên vào năm 1963 với cấu tạo chỉ 5 chữ số. Cho tới nay, mã Zip Code đã trải qua quá trình phát triển khá lâu đời. Định dạng cơ bản ban đầu của mã Zip bao gồm 5 chữ số, tiếp theo sau là dấu gạch nối và 4

Đề xuất

Tất Tần Tật Thông Tin Cần Biết Về Định Cư Mỹ Theo Diện Ho - Xem 2,475

HO là tên viết tắt của Humanization – Tổ chức nhân đạo. Và bạn có biết hình thức định cư Mỹ theo diện HO này không? Có lẽ hình thức định cư này còn rất ít người biết đến bởi lẽ nó đã có từ mấy chục năm trước rồi ... Thậm chí, hồ sơ của bạn sẽ không được chấp nhận cả trong những lần xin visa sau. 3. Các thông tin hữu ích về định cư Mỹ theo diện HO 3.1. Chương trình định cư Mỹ diện HO có nhiều hạn chế Thực tế có thể thấy rằng hình thức định

G9 Là Gì ? Từ Viết Tắt G9 Có Nghĩa Là Gì, Nên Dùng Trong Trường Hợp Nào - Xem 2,871

G9 là gì ? Được biết đây là một từ được dùng rất phổ biến trên facebook. Vậy bạn đã biết G9 có nghĩa là gì chưa. Cùng xem ngay nhé! Nếu như thường xuyên nhận được tin nhắn chỉ có 1 từ duy nhất là G9 trên messenger facebook, ... Bài viết ngày hôm nay sẽ giải đáp cho bạn biết ý nghĩa thực sự của từ G9 ? Trước tiên, bạn không cần phải căng thẳng; bởi đây không phải một từ ngữ xấu gì đâu. Ngược lại nó còn mang ý nghĩa hết sức tích cực đấy. Dù

Dns Resolver Là Gì? Tại Sao Phải Đổi Dns Mới Có Thể Truy Cập Được Một Số Trang Web? - Xem 4,059

Cái này có hơi liên quan tới chuyên ngành mạng máy tính xíu, nhưng nếu bạn biết một ít về công nghệ thông tin thì sẽ dễ hiểu thôi. Thứ nhất, tất cả các địa chỉ trên mạng bạn nhìn thấy chỉ là cái tên đại diện cho 1 IP ... com) hỏi xem tên miền banhoituidap đang nằm ở đâu. Ở đây, do trang web banhoituidap nằm trực tiếp trên máy chủ quốc tế (.com) nên được quản lý bởi thằng máy chủ chính này lun, hình như mình nhớ không nhầm là hệ thống các máy giữ các tên miền lớn như (.com, .org, .net ,...) nằm ở Mỹ thì phải. Giả sử bạn gặp tên miền như 24h.com.vn thì sao? Y chang như trên nhưng khác ở chỗ thằng máy chủ Là Gì? Nó Tăng Tốc Internet Và Bảo Mật Dữ Liệu Như Thế Nào Khi Duyệt Web? - Xem 3,861 là gì? là dịch vụ DNS tốc độ cao và bảo mật tốt của Cloudflare, nhà cung cấp dịch vụ reverse proxy nổi tiếng. Dịch vụ DNS của Cloudflare sẽ giúp người dùng giảm thiểu việc bị theo dõi lịch sử duyệt web đồng thời tăng tốc độ ... Nếu chỉ có một nút trong trung tâm dữ liệu gần nhất, bạn có thể chắc chắn rằng khi hỏi cùng một truy vấn hai lần, bạn sẽ nhận được câu trả lời đã lưu trong bộ nhớ cache lần thứ hai. Tuy nhiên, vì có hàng trăm nút trong mỗi trung tâm dữ liệu, nên người dùng có thể nhận được phản hồi chưa được giải quyết, xuất hiện độ trễ cho mỗi yêu cầu. Một giải pháp phổ biến là đặt

Icloud Là Gì? Cách Sử Dụng Tài Khoản Icloud - Xem 4,059

– Sao lưu, lưu trữ dữ liệu bằng iCloud Drive: Bạn sẽ có thêm dung lượng (Apple cung cấp miễn phí 5 GB, muốn dùng thêm phải bỏ tiền mua) để lưu trữ dữ liệu như hình ảnh, video, tài liệu, danh bạ, ghi chú… Bên cạnh đó, iCloud cũng ... Bên cạnh đó, iCloud cũng được dùng để sao lưu các bản backup của thiết bị, giúp người dùng an tâm không bị mất dữ liệu kể cả khi máy bị hư hỏng hoặc bị mất. (Xem hướng dẫn sao lưu dữ liệu trên iPhone). - Find My iPhone: Khi thất lạc điện thoại iPhone, chức năng "Find My Devices" của iCloud sẽ giúp định vị vị trí của máy, tự động đổ chuông, khóa máy từ xa thậm chí xóa hết dữ

Bạn đang xem bài viết What Is Explainable Artificial Intelligence? trên website Doisonggiaitri.com. Hy vọng những thông tin mà chúng tôi đã chia sẻ là hữu ích với bạn. Nếu nội dung hay, ý nghĩa bạn hãy chia sẻ với bạn bè của mình và luôn theo dõi, ủng hộ chúng tôi để cập nhật những thông tin mới nhất. Chúc bạn một ngày tốt lành!