{"id":477698,"date":"2023-08-09T09:19:05","date_gmt":"2023-08-09T09:19:05","guid":{"rendered":""},"modified":"2023-09-05T11:15:15","modified_gmt":"2023-09-05T11:15:15","slug":"inverse-reinforcement-learning","status":"publish","type":"wiki","link":"https:\/\/oneproxy.pro\/pl\/wiki\/inverse-reinforcement-learning\/","title":{"rendered":"Uczenie si\u0119 ze wzmocnieniem odwrotnym"},"content":{"rendered":"

Uczenie si\u0119 przez odwrotne wzmacnianie (IRL) to poddziedzina uczenia maszynowego i sztucznej inteligencji, kt\u00f3ra koncentruje si\u0119 na zrozumieniu podstawowych nagr\u00f3d lub cel\u00f3w agenta poprzez obserwacj\u0119 jego zachowania w danym \u015brodowisku. W tradycyjnym uczeniu si\u0119 przez wzmacnianie agent uczy si\u0119 maksymalizowa\u0107 nagrody w oparciu o z g\u00f3ry okre\u015blon\u0105 funkcj\u0119 nagrody. Natomiast IRL stara si\u0119 wywnioskowa\u0107 funkcj\u0119 nagrody z zaobserwowanego zachowania, zapewniaj\u0105c cenne narz\u0119dzie do zrozumienia proces\u00f3w podejmowania decyzji przez ludzi lub ekspert\u00f3w.<\/p>\n

Historia powstania uczenia si\u0119 ze wzmocnieniem odwrotnym i pierwsze wzmianki o nim<\/h2>\n

Koncepcja uczenia si\u0119 przez odwrotne wzmacnianie zosta\u0142a po raz pierwszy wprowadzona przez Andrew Ng i Stuarta Russella w ich artykule z 2000 roku zatytu\u0142owanym \u201eAlgorithms for Inverse Reinforcement Learning\u201d. Ten prze\u0142omowy artyku\u0142 po\u0142o\u017cy\u0142 podwaliny pod badania IRL i jego zastosowa\u0144 w r\u00f3\u017cnych dziedzinach. Od tego czasu badacze i praktycy poczynili znaczne post\u0119py w zrozumieniu i udoskonaleniu algorytm\u00f3w IRL, co czyni je niezb\u0119dn\u0105 technik\u0105 we wsp\u00f3\u0142czesnych badaniach nad sztuczn\u0105 inteligencj\u0105.<\/p>\n

Szczeg\u00f3\u0142owe informacje na temat uczenia si\u0119 ze wzmocnieniem odwrotnym. Rozszerzenie tematu Uczenie si\u0119 ze wzmocnieniem odwrotnym.<\/h2>\n

Uczenie si\u0119 przez odwrotne wzmacnianie stara si\u0119 odpowiedzie\u0107 na podstawowe pytanie: \u201eJakie nagrody lub cele optymalizuj\u0105 agenci podejmuj\u0105c decyzje w okre\u015blonym \u015brodowisku?\u201d To pytanie jest istotne, poniewa\u017c zrozumienie le\u017c\u0105cych u podstaw nagr\u00f3d mo\u017ce pom\u00f3c w usprawnieniu proces\u00f3w decyzyjnych, stworzeniu solidniejszych system\u00f3w sztucznej inteligencji, a nawet dok\u0142adnym modelowaniu ludzkich zachowa\u0144.<\/p>\n

Podstawowe kroki zwi\u0105zane z IRL s\u0105 nast\u0119puj\u0105ce:<\/p>\n

    \n
  1. \n

    Obserwacja<\/strong>: Pierwszym krokiem w IRL jest obserwacja zachowania agenta w danym \u015brodowisku. Obserwacja ta mo\u017ce mie\u0107 form\u0119 demonstracji eksperckich lub zarejestrowanych danych.<\/p>\n<\/li>\n

  2. \n

    Przywr\u00f3cenie funkcji nagrody<\/strong>: Korzystaj\u0105c z zaobserwowanego zachowania, algorytmy IRL pr\u00f3buj\u0105 odzyska\u0107 funkcj\u0119 nagrody, kt\u00f3ra najlepiej wyja\u015bnia dzia\u0142ania agenta. Wywnioskowana funkcja nagrody powinna by\u0107 zgodna z obserwowanym zachowaniem.<\/p>\n<\/li>\n

  3. \n

    Optymalizacja polityki<\/strong>: Po wywnioskowaniu funkcji nagrody mo\u017cna j\u0105 wykorzysta\u0107 do optymalizacji polityki agenta za pomoc\u0105 tradycyjnych technik uczenia si\u0119 przez wzmacnianie. Skutkuje to usprawnieniem procesu decyzyjnego agenta.<\/p>\n<\/li>\n

  4. \n

    Aplikacje<\/strong>: IRL znalaz\u0142o zastosowanie w r\u00f3\u017cnych dziedzinach, w tym w robotyce, pojazdach autonomicznych, systemach rekomendacji i interakcji cz\u0142owiek-robot. Pozwala nam modelowa\u0107 i rozumie\u0107 zachowania ekspert\u00f3w oraz wykorzystywa\u0107 t\u0119 wiedz\u0119 do skuteczniejszego szkolenia innych agent\u00f3w.<\/p>\n<\/li>\n<\/ol>\n

    Wewn\u0119trzna struktura uczenia si\u0119 ze wzmocnieniem odwrotnym. Jak dzia\u0142a uczenie si\u0119 ze wzmocnieniem odwrotnym.<\/h2>\n

    Uczenie si\u0119 przez odwrotne wzmacnianie zazwyczaj obejmuje nast\u0119puj\u0105ce elementy:<\/p>\n

      \n
    1. \n

      \u015arodowisko<\/strong>: \u015arodowisko to kontekst lub otoczenie, w kt\u00f3rym dzia\u0142a agent. Zapewnia agentowi stany, akcje i nagrody zale\u017cne od jego dzia\u0142a\u0144.<\/p>\n<\/li>\n

    2. \n

      Agent<\/strong>: Agent to podmiot, kt\u00f3rego zachowanie chcemy zrozumie\u0107 lub poprawi\u0107. Podejmuje dzia\u0142ania w otoczeniu, aby osi\u0105gn\u0105\u0107 okre\u015blone cele.<\/p>\n<\/li>\n

    3. \n

      Pokazy ekspert\u00f3w<\/strong>: S\u0105 to demonstracje zachowa\u0144 eksperta w danym \u015brodowisku. Algorytm IRL wykorzystuje te demonstracje do wywnioskowania podstawowej funkcji nagrody.<\/p>\n<\/li>\n

    4. \n

      Funkcja nagrody<\/strong>: Funkcja nagrody odwzorowuje stany i dzia\u0142ania w \u015brodowisku na warto\u015b\u0107 liczbow\u0105, reprezentuj\u0105c\u0105 celowo\u015b\u0107 tych stan\u00f3w i dzia\u0142a\u0144. Jest to kluczowa koncepcja uczenia si\u0119 przez wzmacnianie, a w IRL nale\u017cy j\u0105 wywnioskowa\u0107.<\/p>\n<\/li>\n

    5. \n

      Algorytmy uczenia si\u0119 ze wzmocnieniem odwrotnym<\/strong>: Algorytmy te wykorzystuj\u0105 demonstracje ekspert\u00f3w i \u015brodowisko jako dane wej\u015bciowe i pr\u00f3buj\u0105 odzyska\u0107 funkcj\u0119 nagrody. Na przestrzeni lat zaproponowano r\u00f3\u017cne podej\u015bcia, takie jak maksymalna entropia IRL i Bayesowski IRL.<\/p>\n<\/li>\n

    6. \n

      Optymalizacja polityki<\/strong>: Po odzyskaniu funkcji nagrody mo\u017cna j\u0105 wykorzysta\u0107 do optymalizacji polityki agenta poprzez techniki uczenia si\u0119 przez wzmacnianie, takie jak Q-learning lub gradienty polityki.<\/p>\n<\/li>\n<\/ol>\n

      Analiza kluczowych cech uczenia si\u0119 ze wzmocnieniem odwrotnym.<\/h2>\n

      Uczenie si\u0119 przez odwrotne wzmacnianie oferuje kilka kluczowych funkcji i zalet w por\u00f3wnaniu z tradycyjnym uczeniem si\u0119 przez wzmacnianie:<\/p>\n

        \n
      1. \n

        Podejmowanie decyzji na wz\u00f3r cz\u0142owieka<\/strong>: Wnioskuj\u0105c o funkcji nagrody na podstawie demonstracji ekspert\u00f3w, IRL umo\u017cliwia agentom podejmowanie decyzji, kt\u00f3re s\u0105 bardziej zgodne z ludzkimi preferencjami i zachowaniami.<\/p>\n<\/li>\n

      2. \n

        Modelowanie nagr\u00f3d nieobserwowalnych<\/strong>: W wielu rzeczywistych scenariuszach funkcja nagrody nie jest wyra\u017anie okre\u015blona, co sprawia, \u017ce tradycyjne uczenie si\u0119 przez wzmacnianie stanowi wyzwanie. IRL mo\u017ce odkry\u0107 podstawowe nagrody bez wyra\u017anego nadzoru.<\/p>\n<\/li>\n

      3. \n

        Przejrzysto\u015b\u0107 i interpretowalno\u015b\u0107<\/strong>: IRL zapewnia interpretowalne funkcje nagrody, umo\u017cliwiaj\u0105ce g\u0142\u0119bsze zrozumienie procesu decyzyjnego agent\u00f3w.<\/p>\n<\/li>\n

      4. \n

        Przyk\u0142adowa wydajno\u015b\u0107<\/strong>: IRL cz\u0119sto mo\u017ce uczy\u0107 si\u0119 na podstawie mniejszej liczby demonstracji ekspert\u00f3w w por\u00f3wnaniu z obszernymi danymi wymaganymi do uczenia si\u0119 przez wzmacnianie.<\/p>\n<\/li>\n

      5. \n

        Nauczanie transferowe<\/strong>: Wywnioskowan\u0105 funkcj\u0119 nagrody z jednego \u015brodowiska mo\u017cna przenie\u015b\u0107 do podobnego, ale nieco innego \u015brodowiska, co zmniejsza potrzeb\u0119 ponownego uczenia si\u0119 od zera.<\/p>\n<\/li>\n

      6. \n

        Radzenie sobie z rzadkimi nagrodami<\/strong>: IRL mo\u017ce rozwi\u0105za\u0107 problemy zwi\u0105zane z rzadkimi nagrodami, w przypadku kt\u00f3rych tradycyjne uczenie si\u0119 przez wzmacnianie ma trudno\u015bci z nauk\u0105 ze wzgl\u0119du na niedostatek informacji zwrotnej.<\/p>\n<\/li>\n<\/ol>\n

        Rodzaje uczenia si\u0119 ze wzmocnieniem odwrotnym<\/h2>\n\n\n\n\n\n\n\n\n
        Typ<\/th>\nOpis<\/th>\n<\/tr>\n<\/thead>\n
        Maksymalna entropia IRL<\/td>\nPodej\u015bcie IRL, kt\u00f3re maksymalizuje entropi\u0119 polityki agenta, bior\u0105c pod uwag\u0119 wywnioskowane nagrody.<\/td>\n<\/tr>\n
        Bayesowski IRL<\/td>\nZawiera probabilistyczne ramy do wnioskowania o rozk\u0142adzie mo\u017cliwych funkcji nagrody.<\/td>\n<\/tr>\n
        Przeciwnik IRL<\/td>\nStosuje podej\u015bcie oparte na teorii gier z dyskryminatorem i generatorem do wnioskowania o funkcji nagrody.<\/td>\n<\/tr>\n
        Nauka praktyk<\/td>\n\u0141\u0105czy nauk\u0119 IRL i uczenie si\u0119 przez wzmacnianie, aby uczy\u0107 si\u0119 na podstawie demonstracji ekspert\u00f3w.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

        Sposoby wykorzystania Uczenie si\u0119 przez odwrotne wzmacnianie, problemy i ich rozwi\u0105zania zwi\u0105zane ze stosowaniem.<\/h2>\n

        Uczenie si\u0119 przez odwrotne wzmacnianie ma r\u00f3\u017cne zastosowania i mo\u017ce stawi\u0107 czo\u0142a konkretnym wyzwaniom:<\/p>\n

          \n
        1. \n

          Robotyka<\/strong>: W robotyce IRL pomaga zrozumie\u0107 zachowania ekspert\u00f3w w celu zaprojektowania bardziej wydajnych i przyjaznych cz\u0142owiekowi robot\u00f3w.<\/p>\n<\/li>\n

        2. \n

          Pojazdy autonomiczne<\/strong>: IRL pomaga w wnioskowaniu o zachowaniu cz\u0142owieka, umo\u017cliwiaj\u0105c pojazdom autonomicznym bezpieczn\u0105 i przewidywaln\u0105 nawigacj\u0119 w scenariuszach ruchu mieszanego.<\/p>\n<\/li>\n

        3. \n

          Systemy rekomendacji<\/strong>: IRL mo\u017ce s\u0142u\u017cy\u0107 do modelowania preferencji u\u017cytkownik\u00f3w w systemach rekomendacji, zapewniaj\u0105c dok\u0142adniejsze i spersonalizowane rekomendacje.<\/p>\n<\/li>\n

        4. \n

          Interakcja cz\u0142owiek-robot<\/strong>: IRL mo\u017cna zastosowa\u0107, aby roboty rozumia\u0142y ludzkie preferencje i dostosowywa\u0142y si\u0119 do nich, czyni\u0105c interakcj\u0119 cz\u0142owiek-robot bardziej intuicyjn\u0105.<\/p>\n<\/li>\n

        5. \n

          Wyzwania<\/strong>: IRL mo\u017ce napotka\u0107 trudno\u015bci w dok\u0142adnym odtworzeniu funkcji nagrody, zw\u0142aszcza gdy demonstracje eksperckie s\u0105 ograniczone lub ha\u0142a\u015bliwe.<\/p>\n<\/li>\n

        6. \n

          Rozwi\u0105zania<\/strong>: W\u0142\u0105czenie wiedzy dziedzinowej, wykorzystanie ram probabilistycznych i po\u0142\u0105czenie IRL z uczeniem si\u0119 przez wzmacnianie mo\u017ce sprosta\u0107 tym wyzwaniom.<\/p>\n<\/li>\n<\/ol>\n

          G\u0142\u00f3wne cechy i inne por\u00f3wnania z podobnymi terminami w formie tabel i list.<\/h2>\n

          | Uczenie si\u0119 odwrotne ze wzmocnieniem (IRL) a uczenie si\u0119 ze wzmocnieniem (RL) |
          \n|\u2014\u2014\u2014\u2014\u2014\u2014 | \u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014\u2014-|
          \n| IRL | RL |
          \n| Wnioskuje o nagrodach | Zak\u0142ada znane nagrody |
          \n| Zachowanie ludzkie | Uczy si\u0119 na podstawie wyra\u017anych nagr\u00f3d |
          \n| Interpretowalno\u015b\u0107 | Mniej przejrzyste |
          \n| Pr\u00f3bka wydajna | G\u0142odny danych |
          \n| Rozwi\u0105zuje rzadkie nagrody | Zmaga si\u0119 z rzadkimi nagrodami |<\/p>\n

          Perspektywy i technologie przysz\u0142o\u015bci zwi\u0105zane z uczeniem si\u0119 przez odwrotne wzmacnianie.<\/h2>\n

          Przysz\u0142o\u015b\u0107 uczenia si\u0119 przez odwrotne wzmacnianie niesie ze sob\u0105 obiecuj\u0105ce zmiany:<\/p>\n

            \n
          1. \n

            Zaawansowane algorytmy<\/strong>: Dalsze badania prawdopodobnie doprowadz\u0105 do opracowania bardziej wydajnych i dok\u0142adnych algorytm\u00f3w IRL, co umo\u017cliwi ich zastosowanie w szerszym zakresie problem\u00f3w.<\/p>\n<\/li>\n

          2. \n

            Integracja z Deep Learning<\/strong>: Po\u0142\u0105czenie IRL z modelami g\u0142\u0119bokiego uczenia si\u0119 mo\u017ce prowadzi\u0107 do stworzenia wydajniejszych i efektywniejszych system\u00f3w uczenia si\u0119.<\/p>\n<\/li>\n

          3. \n

            Aplikacje w \u015bwiecie rzeczywistym<\/strong>: Oczekuje si\u0119, \u017ce IRL b\u0119dzie mia\u0142o znacz\u0105cy wp\u0142yw na zastosowania w \u015bwiecie rzeczywistym, takie jak opieka zdrowotna, finanse i edukacja.<\/p>\n<\/li>\n

          4. \n

            Etyczna sztuczna inteligencja<\/strong>: Zrozumienie ludzkich preferencji poprzez IRL mo\u017ce przyczyni\u0107 si\u0119 do rozwoju etycznych system\u00f3w sztucznej inteligencji, kt\u00f3re s\u0105 zgodne z warto\u015bciami ludzkimi.<\/p>\n<\/li>\n<\/ol>\n

            W jaki spos\u00f3b serwery proxy mog\u0105 by\u0107 wykorzystywane lub powi\u0105zane z uczeniem si\u0119 przez odwrotne wzmacnianie.<\/h2>\n

            Uczenie si\u0119 przez odwrotne wzmacnianie mo\u017cna wykorzysta\u0107 w kontek\u015bcie serwer\u00f3w proxy w celu optymalizacji ich zachowania i procesu podejmowania decyzji. Serwery proxy dzia\u0142aj\u0105 jako po\u015brednicy mi\u0119dzy klientami a Internetem, przekierowuj\u0105c \u017c\u0105dania i odpowiedzi oraz zapewniaj\u0105c anonimowo\u015b\u0107. Obserwuj\u0105c zachowania ekspert\u00f3w, algorytmy IRL mo\u017cna wykorzysta\u0107 do zrozumienia preferencji i cel\u00f3w klient\u00f3w korzystaj\u0105cych z serwer\u00f3w proxy. Informacje te mo\u017cna nast\u0119pnie wykorzysta\u0107 do optymalizacji zasad i proces\u00f3w decyzyjnych serwera proxy, co prowadzi do bardziej wydajnych i skutecznych operacji proxy. Dodatkowo IRL mo\u017ce pom\u00f3c w identyfikowaniu i obs\u0142udze z\u0142o\u015bliwych dzia\u0142a\u0144, zapewniaj\u0105c wi\u0119ksze bezpiecze\u0144stwo i niezawodno\u015b\u0107 u\u017cytkownikom proxy.<\/p>\n

            Powi\u0105zane linki<\/h2>\n

            Wi\u0119cej informacji na temat uczenia si\u0119 przez odwrotne wzmacnianie mo\u017cna znale\u017a\u0107 w nast\u0119puj\u0105cych zasobach:<\/p>\n

              \n
            1. \n

              \u201eAlgorytmy uczenia si\u0119 ze wzmocnieniem odwrotnym\u201d autorstwa Andrew Ng i Stuarta Russella (2000).
              \nPo\u0142\u0105czy\u0107: https:\/\/ai.stanford.edu\/~ang\/papers\/icml00-irl.pdf<\/a><\/p>\n<\/li>\n

            2. \n

              \u201eUczenie si\u0119 ze wzmocnieniem odwrotnym\u201d \u2013 artyku\u0142 przegl\u0105dowy autorstwa Pietera Abbeela i Johna Schulmana.
              \nPo\u0142\u0105czy\u0107:               https:\/\/ai.stanford.edu\/~ang\/papers\/icml00-irl.pdf<\/a><\/p>\n<\/li>\n

            3. \n

              Wpis na blogu OpenAI na temat \u201eUczenia si\u0119 ze wzmocnieniem odwrotnym na podstawie ludzkich preferencji\u201d autorstwa Jonathana Ho i Stefano Ermona.
              \nPo\u0142\u0105czy\u0107:               https:\/\/openai.com\/blog\/learning-from-human-preferences\/<\/a><\/p>\n<\/li>\n

            4. \n

              \u201eUczenie si\u0119 ze wzmocnieniem odwrotnym: ankieta\u201d \u2013 kompleksowy przegl\u0105d algorytm\u00f3w i zastosowa\u0144 IRL.
              \nPo\u0142\u0105czy\u0107:               https:\/\/arxiv.org\/abs\/1812.05852<\/a><\/p>\n<\/li>\n<\/ol>","protected":false},"featured_media":468689,"menu_order":0,"template":"","meta":{"_acf_changed":false,"content-type":"","inline_featured_image":false,"footnotes":""},"class_list":["post-477698","wiki","type-wiki","status-publish","has-post-thumbnail","hentry"],"acf":{"faq_title":"Frequently Asked Questions about Inverse Reinforcement Learning: Unraveling the Hidden Rewards<\/mark>","faq_items":[{"question":"What is Inverse Reinforcement Learning (IRL)?","answer":"

              Inverse Reinforcement Learning (IRL) is a branch of artificial intelligence that aims to understand an agent's underlying objectives by observing its behavior in a given environment. Unlike traditional reinforcement learning, where agents maximize predefined rewards, IRL infers the reward function from expert demonstrations, leading to more human-like decision-making.<\/p>"},{"question":"How did Inverse Reinforcement Learning originate?","answer":"

              IRL was first introduced by Andrew Ng and Stuart Russell in their 2000 paper titled \"Algorithms for Inverse Reinforcement Learning.\" This seminal work laid the foundation for studying IRL and its applications in various domains.<\/p>"},{"question":"How does Inverse Reinforcement Learning work?","answer":"

              The process of IRL involves observing an agent's behavior, recovering the reward function that best explains the behavior, and then optimizing the agent's policy based on the inferred rewards. IRL algorithms leverage expert demonstrations to uncover the underlying rewards, which can be used to improve decision-making processes.<\/p>"},{"question":"What are the key features of Inverse Reinforcement Learning?","answer":"

              IRL offers several advantages, including a deeper understanding of human-like decision-making, transparency in reward functions, sample efficiency, and the ability to handle sparse rewards. It can also be used for transfer learning, where knowledge from one environment can be applied to a similar setting.<\/p>"},{"question":"What types of Inverse Reinforcement Learning exist?","answer":"

              There are various types of IRL approaches, such as Maximum Entropy IRL, Bayesian IRL, Adversarial IRL, and Apprenticeship Learning. Each approach has its unique way of inferring the reward function from expert demonstrations.<\/p>"},{"question":"What are the applications of Inverse Reinforcement Learning?","answer":"

              Inverse Reinforcement Learning finds applications in robotics, autonomous vehicles, recommendation systems, and human-robot interaction. It allows us to model and understand expert behavior, leading to better decision-making for AI systems.<\/p>"},{"question":"What are the challenges in using Inverse Reinforcement Learning?","answer":"

              IRL may face challenges when recovering the reward function accurately, especially when expert demonstrations are limited or noisy. Addressing these challenges may require incorporating domain knowledge and using probabilistic frameworks.<\/p>"},{"question":"What does the future hold for Inverse Reinforcement Learning?","answer":"

              The future of IRL is promising, with advancements in algorithms, integration with deep learning, and potential impacts on various real-world applications, including healthcare, finance, and education.<\/p>"},{"question":"How can Inverse Reinforcement Learning be associated with proxy servers?","answer":"

              Inverse Reinforcement Learning can optimize the behavior and decision-making process of proxy servers by understanding user preferences and objectives. This understanding leads to better policies, improved security, and increased efficiency in the operation of proxy servers.<\/p>"}]},"_links":{"self":[{"href":"https:\/\/oneproxy.pro\/pl\/wp-json\/wp\/v2\/wiki\/477698","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/oneproxy.pro\/pl\/wp-json\/wp\/v2\/wiki"}],"about":[{"href":"https:\/\/oneproxy.pro\/pl\/wp-json\/wp\/v2\/types\/wiki"}],"version-history":[{"count":0,"href":"https:\/\/oneproxy.pro\/pl\/wp-json\/wp\/v2\/wiki\/477698\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/oneproxy.pro\/pl\/wp-json\/wp\/v2\/media\/468689"}],"wp:attachment":[{"href":"https:\/\/oneproxy.pro\/pl\/wp-json\/wp\/v2\/media?parent=477698"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}