{"id":476306,"date":"2023-08-09T07:28:31","date_gmt":"2023-08-09T07:28:31","guid":{"rendered":""},"modified":"2023-09-05T11:12:26","modified_gmt":"2023-09-05T11:12:26","slug":"codebert","status":"publish","type":"wiki","link":"https:\/\/oneproxy.pro\/th\/wiki\/codebert\/","title":{"rendered":"\u0e23\u0e2b\u0e31\u0e2aBERT"},"content":{"rendered":"<p>CodeBERT \u0e40\u0e1b\u0e47\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25\u0e43\u0e2b\u0e21\u0e48\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48\u0e41\u0e25\u0e30\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32 \u0e2d\u0e2d\u0e01\u0e41\u0e1a\u0e1a\u0e21\u0e32\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e41\u0e25\u0e30\u0e17\u0e33\u0e04\u0e27\u0e32\u0e21\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e20\u0e32\u0e29\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e42\u0e14\u0e22\u0e40\u0e09\u0e1e\u0e32\u0e30 \u0e40\u0e1b\u0e47\u0e19\u0e04\u0e27\u0e32\u0e21\u0e01\u0e49\u0e32\u0e27\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e43\u0e19\u0e14\u0e49\u0e32\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34 (NLP) \u0e41\u0e25\u0e30\u0e21\u0e35\u0e01\u0e32\u0e23\u0e19\u0e33\u0e44\u0e1b\u0e43\u0e0a\u0e49\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e08\u0e33\u0e19\u0e27\u0e19\u0e21\u0e32\u0e01 \u0e42\u0e14\u0e22\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e22\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e17\u0e33\u0e04\u0e27\u0e32\u0e21\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08 \u0e01\u0e32\u0e23\u0e41\u0e1b\u0e25 \u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e42\u0e04\u0e49\u0e14\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21<\/p>\n<h2>\u0e01\u0e32\u0e23\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e02\u0e2d\u0e07 CodeBERT \u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e01\u0e25\u0e48\u0e32\u0e27\u0e16\u0e36\u0e07\u0e04\u0e23\u0e31\u0e49\u0e07\u0e41\u0e23\u0e01<\/h2>\n<p>CodeBERT \u0e40\u0e01\u0e34\u0e14\u0e08\u0e32\u0e01\u0e2b\u0e49\u0e2d\u0e07\u0e1b\u0e0f\u0e34\u0e1a\u0e31\u0e15\u0e34\u0e01\u0e32\u0e23\u0e27\u0e34\u0e08\u0e31\u0e22\u0e02\u0e2d\u0e07 Microsoft Research Asia \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e27\u0e34\u0e08\u0e31\u0e22\u0e17\u0e35\u0e48\u0e42\u0e14\u0e14\u0e40\u0e14\u0e48\u0e19\u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e17\u0e35\u0e48\u0e23\u0e39\u0e49\u0e08\u0e31\u0e01\u0e43\u0e19\u0e14\u0e49\u0e32\u0e19\u0e04\u0e27\u0e32\u0e21\u0e01\u0e49\u0e32\u0e27\u0e2b\u0e19\u0e49\u0e32\u0e43\u0e19\u0e14\u0e49\u0e32\u0e19\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e02\u0e2d\u0e07\u0e27\u0e34\u0e17\u0e22\u0e32\u0e01\u0e32\u0e23\u0e04\u0e2d\u0e21\u0e1e\u0e34\u0e27\u0e40\u0e15\u0e2d\u0e23\u0e4c \u0e42\u0e21\u0e40\u0e14\u0e25\u0e14\u0e31\u0e07\u0e01\u0e25\u0e48\u0e32\u0e27\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e34\u0e14\u0e40\u0e1c\u0e22\u0e15\u0e48\u0e2d\u0e2a\u0e32\u0e18\u0e32\u0e23\u0e13\u0e30\u0e40\u0e1b\u0e47\u0e19\u0e04\u0e23\u0e31\u0e49\u0e07\u0e41\u0e23\u0e01\u0e43\u0e19\u0e23\u0e32\u0e22\u0e07\u0e32\u0e19\u0e01\u0e32\u0e23\u0e27\u0e34\u0e08\u0e31\u0e22\u0e0a\u0e37\u0e48\u0e2d \u201cCodeBERT: \u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e41\u0e25\u0e30\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u201d \u0e0b\u0e36\u0e48\u0e07\u0e15\u0e35\u0e1e\u0e34\u0e21\u0e1e\u0e4c\u0e43\u0e19\u0e1b\u0e35 2020<\/p>\n<p>\u0e1c\u0e39\u0e49\u0e2a\u0e23\u0e49\u0e32\u0e07 CodeBERT \u0e15\u0e23\u0e30\u0e2b\u0e19\u0e31\u0e01\u0e16\u0e36\u0e07\u0e04\u0e27\u0e32\u0e21\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e17\u0e35\u0e48\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e02\u0e36\u0e49\u0e19\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e20\u0e32\u0e29\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e44\u0e14\u0e49\u0e43\u0e19\u0e25\u0e31\u0e01\u0e29\u0e13\u0e30\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e17\u0e35\u0e48\u0e21\u0e19\u0e38\u0e29\u0e22\u0e4c\u0e17\u0e33 \u0e42\u0e14\u0e22\u0e40\u0e0a\u0e37\u0e48\u0e2d\u0e21\u0e0a\u0e48\u0e2d\u0e07\u0e27\u0e48\u0e32\u0e07\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u0e41\u0e25\u0e30\u0e42\u0e04\u0e49\u0e14 CodeBERT \u0e40\u0e01\u0e34\u0e14\u0e08\u0e32\u0e01\u0e04\u0e27\u0e32\u0e21\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e19\u0e35\u0e49\u0e41\u0e25\u0e30\u0e44\u0e14\u0e49\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e01\u0e23\u0e30\u0e41\u0e2a\u0e43\u0e19\u0e0a\u0e38\u0e21\u0e0a\u0e19 NLP \u0e19\u0e31\u0e1a\u0e15\u0e31\u0e49\u0e07\u0e41\u0e15\u0e48\u0e21\u0e35\u0e01\u0e32\u0e23\u0e01\u0e25\u0e48\u0e32\u0e27\u0e16\u0e36\u0e07\u0e04\u0e23\u0e31\u0e49\u0e07\u0e41\u0e23\u0e01<\/p>\n<h2>\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e34\u0e14\u0e40\u0e1c\u0e22 CodeBERT: \u0e40\u0e08\u0e32\u0e30\u0e25\u0e36\u0e01<\/h2>\n<p>CodeBERT \u0e19\u0e31\u0e49\u0e19\u0e40\u0e1b\u0e47\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e2b\u0e21\u0e49\u0e2d\u0e41\u0e1b\u0e25\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2b\u0e25\u0e31\u0e01 \u0e0b\u0e36\u0e48\u0e07\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e1d\u0e19\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e04\u0e25\u0e31\u0e07\u0e42\u0e04\u0e49\u0e14\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48\u0e08\u0e32\u0e01\u0e20\u0e32\u0e29\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e42\u0e21\u0e40\u0e14\u0e25\u0e14\u0e31\u0e07\u0e01\u0e25\u0e48\u0e32\u0e27\u0e43\u0e0a\u0e49\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e08\u0e32\u0e01\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e02\u0e2d\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25 BERT (BiDirectional Encoder Representations from Transformers) \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e01\u0e48\u0e2d\u0e19\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e1b\u0e0f\u0e34\u0e27\u0e31\u0e15\u0e34\u0e07\u0e32\u0e19 NLP<\/p>\n<p>CodeBERT \u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e08\u0e32\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25 BERT \u0e41\u0e1a\u0e1a\u0e14\u0e31\u0e49\u0e07\u0e40\u0e14\u0e34\u0e21 \u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e1d\u0e19\u0e17\u0e31\u0e49\u0e07\u0e43\u0e19\u0e14\u0e49\u0e32\u0e19\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e41\u0e25\u0e30\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e44\u0e27\u0e22\u0e32\u0e01\u0e23\u0e13\u0e4c\u0e41\u0e25\u0e30\u0e04\u0e27\u0e32\u0e21\u0e2b\u0e21\u0e32\u0e22\u0e02\u0e2d\u0e07\u0e42\u0e04\u0e49\u0e14 \u0e43\u0e19\u0e02\u0e13\u0e30\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e01\u0e47\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e04\u0e27\u0e32\u0e21\u0e04\u0e34\u0e14\u0e40\u0e2b\u0e47\u0e19\u0e41\u0e25\u0e30\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u0e14\u0e49\u0e27\u0e22 \u0e42\u0e21\u0e40\u0e14\u0e25\u0e14\u0e31\u0e07\u0e01\u0e25\u0e48\u0e32\u0e27\u0e43\u0e0a\u0e49\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e20\u0e32\u0e29\u0e32\u0e21\u0e32\u0e2a\u0e01\u0e4c\u0e41\u0e25\u0e30\u0e41\u0e17\u0e19\u0e17\u0e35\u0e48\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e08\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e07\u0e32\u0e19\u0e01\u0e48\u0e2d\u0e19\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e41\u0e1a\u0e1a\u0e43\u0e2b\u0e21\u0e48\u0e17\u0e35\u0e48\u0e01\u0e23\u0e30\u0e15\u0e38\u0e49\u0e19\u0e43\u0e2b\u0e49\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e41\u0e25\u0e30\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e42\u0e04\u0e49\u0e14\u0e44\u0e14\u0e49\u0e14\u0e35\u0e02\u0e36\u0e49\u0e19<\/p>\n<h2>\u0e20\u0e32\u0e22\u0e43\u0e19 CodeBERT: \u0e21\u0e31\u0e19\u0e17\u0e33\u0e07\u0e32\u0e19\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23<\/h2>\n<p>\u0e20\u0e32\u0e22\u0e43\u0e15\u0e49\u0e1d\u0e32\u0e01\u0e23\u0e30\u0e42\u0e1b\u0e23\u0e07 CodeBERT \u0e43\u0e0a\u0e49\u0e42\u0e21\u0e40\u0e14\u0e25 Transformer \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e01\u0e25\u0e44\u0e01\u0e01\u0e32\u0e23\u0e40\u0e2d\u0e32\u0e43\u0e08\u0e43\u0e2a\u0e48\u0e15\u0e19\u0e40\u0e2d\u0e07 \u0e42\u0e21\u0e40\u0e14\u0e25\u0e2b\u0e21\u0e49\u0e2d\u0e41\u0e1b\u0e25\u0e07\u0e21\u0e35\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e08\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e02\u0e36\u0e49\u0e19\u0e15\u0e48\u0e2d\u0e01\u0e31\u0e19\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e2d\u0e34\u0e19\u0e1e\u0e38\u0e15\u0e41\u0e25\u0e30\u0e40\u0e2d\u0e32\u0e15\u0e4c\u0e1e\u0e38\u0e15\u0e42\u0e14\u0e22\u0e40\u0e19\u0e49\u0e19\u0e44\u0e1b\u0e17\u0e35\u0e48\u0e2a\u0e48\u0e27\u0e19\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e02\u0e2d\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2d\u0e34\u0e19\u0e1e\u0e38\u0e15 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e42\u0e21\u0e40\u0e14\u0e25\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e41\u0e1a\u0e1a\u0e02\u0e19\u0e32\u0e19\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07<\/p>\n<p>\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32 CodeBERT \u0e43\u0e0a\u0e49\u0e2a\u0e2d\u0e07\u0e01\u0e25\u0e22\u0e38\u0e17\u0e18\u0e4c \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e41\u0e23\u0e01\u0e04\u0e37\u0e2d\u0e42\u0e21\u0e40\u0e14\u0e25\u0e20\u0e32\u0e29\u0e32\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e21\u0e32\u0e2a\u0e01\u0e4c \u0e42\u0e14\u0e22\u0e17\u0e35\u0e48\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e1a\u0e32\u0e07\u0e15\u0e31\u0e27 (\u0e04\u0e33\u0e2b\u0e23\u0e37\u0e2d\u0e2d\u0e31\u0e01\u0e02\u0e23\u0e30) \u0e08\u0e30\u0e16\u0e39\u0e01\u0e2a\u0e38\u0e48\u0e21\u0e21\u0e32\u0e2a\u0e01\u0e4c\u0e08\u0e32\u0e01\u0e2d\u0e34\u0e19\u0e1e\u0e38\u0e15 \u0e41\u0e25\u0e30\u0e42\u0e21\u0e40\u0e14\u0e25\u0e19\u0e31\u0e49\u0e19\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e1d\u0e19\u0e43\u0e2b\u0e49\u0e17\u0e33\u0e19\u0e32\u0e22\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e21\u0e32\u0e2a\u0e01\u0e4c\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49 \u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e08\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e17\u0e35\u0e48\u0e2a\u0e2d\u0e07\u0e16\u0e39\u0e01\u0e41\u0e17\u0e19\u0e17\u0e35\u0e48 \u0e42\u0e14\u0e22\u0e17\u0e35\u0e48\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e1a\u0e32\u0e07\u0e2a\u0e48\u0e27\u0e19\u0e08\u0e30\u0e16\u0e39\u0e01\u0e41\u0e17\u0e19\u0e17\u0e35\u0e48\u0e14\u0e49\u0e27\u0e22\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e2d\u0e37\u0e48\u0e19\u0e46 \u0e41\u0e25\u0e30\u0e42\u0e21\u0e40\u0e14\u0e25\u0e08\u0e33\u0e40\u0e1b\u0e47\u0e19\u0e15\u0e49\u0e2d\u0e07\u0e23\u0e30\u0e1a\u0e38\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e41\u0e17\u0e19\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49<\/p>\n<p>\u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49 CodeBERT \u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e25\u0e30\u0e23\u0e39\u0e1b\u0e41\u0e1a\u0e1a\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e17\u0e31\u0e49\u0e07\u0e43\u0e19\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u0e41\u0e25\u0e30\u0e42\u0e04\u0e49\u0e14\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21<\/p>\n<h2>\u0e04\u0e38\u0e13\u0e2a\u0e21\u0e1a\u0e31\u0e15\u0e34\u0e17\u0e35\u0e48\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e02\u0e2d\u0e07 CodeBERT<\/h2>\n<p>CodeBERT \u0e19\u0e33\u0e40\u0e2a\u0e19\u0e2d\u0e04\u0e38\u0e13\u0e2a\u0e21\u0e1a\u0e31\u0e15\u0e34\u0e17\u0e35\u0e48\u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e2b\u0e25\u0e32\u0e22\u0e1b\u0e23\u0e30\u0e01\u0e32\u0e23\u0e17\u0e35\u0e48\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e08\u0e32\u0e01\u0e23\u0e38\u0e48\u0e19\u0e2d\u0e37\u0e48\u0e19\u0e46:<\/p>\n<ol>\n<li>\n<p><strong>\u0e04\u0e27\u0e32\u0e21\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e20\u0e32\u0e29\u0e32\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e2b\u0e25\u0e32\u0e22\u0e20\u0e32\u0e29\u0e32<\/strong>: CodeBERT \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e20\u0e32\u0e29\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e44\u0e14\u0e49\u0e2b\u0e25\u0e32\u0e22\u0e20\u0e32\u0e29\u0e32 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07 Python, Java, JavaScript, PHP, Ruby, Go \u0e41\u0e25\u0e30\u0e2d\u0e37\u0e48\u0e19\u0e46 \u0e2d\u0e35\u0e01\u0e21\u0e32\u0e01\u0e21\u0e32\u0e22<\/p>\n<\/li>\n<li>\n<p><strong>\u0e01\u0e32\u0e23\u0e41\u0e1b\u0e25\u0e02\u0e49\u0e32\u0e21\u0e20\u0e32\u0e29\u0e32<\/strong>: CodeBERT \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e41\u0e1b\u0e25\u0e42\u0e04\u0e49\u0e14\u0e08\u0e32\u0e01\u0e20\u0e32\u0e29\u0e32\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e35\u0e01\u0e20\u0e32\u0e29\u0e32\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e44\u0e14\u0e49<\/p>\n<\/li>\n<li>\n<p><strong>\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e38\u0e1b\u0e42\u0e04\u0e49\u0e14<\/strong>: \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e38\u0e1b\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u0e2b\u0e23\u0e37\u0e2d\u0e04\u0e27\u0e32\u0e21\u0e04\u0e34\u0e14\u0e40\u0e2b\u0e47\u0e19\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e42\u0e04\u0e49\u0e14\u0e17\u0e35\u0e48\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e44\u0e14\u0e49<\/p>\n<\/li>\n<li>\n<p><strong>\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e23\u0e2b\u0e31\u0e2a<\/strong>: \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e04\u0e49\u0e14\u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49\u0e20\u0e32\u0e29\u0e32\u0e17\u0e35\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u0e2b\u0e23\u0e37\u0e2d\u0e43\u0e19\u0e17\u0e32\u0e07\u0e01\u0e25\u0e31\u0e1a\u0e01\u0e31\u0e19<\/p>\n<\/li>\n<li>\n<p><strong>\u0e01\u0e23\u0e2d\u0e01\u0e42\u0e04\u0e49\u0e14<\/strong>: \u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e04\u0e49\u0e14\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e2a\u0e21\u0e1a\u0e39\u0e23\u0e13\u0e4c CodeBERT \u0e08\u0e36\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e04\u0e32\u0e14\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e04\u0e27\u0e32\u0e21\u0e15\u0e48\u0e2d\u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e02\u0e2d\u0e07\u0e42\u0e04\u0e49\u0e14\u0e44\u0e14\u0e49<\/p>\n<\/li>\n<\/ol>\n<h2>\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e02\u0e2d\u0e07 CodeBERT: \u0e01\u0e32\u0e23\u0e08\u0e33\u0e41\u0e19\u0e01\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17<\/h2>\n<p>\u0e41\u0e21\u0e49\u0e27\u0e48\u0e32 CodeBERT \u0e08\u0e30\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e40\u0e14\u0e35\u0e22\u0e27 \u0e41\u0e15\u0e48\u0e01\u0e47\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1b\u0e23\u0e31\u0e1a\u0e41\u0e15\u0e48\u0e07\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e01\u0e31\u0e1a\u0e07\u0e32\u0e19\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e44\u0e14\u0e49 \u0e15\u0e32\u0e23\u0e32\u0e07\u0e15\u0e48\u0e2d\u0e44\u0e1b\u0e19\u0e35\u0e49\u0e41\u0e2a\u0e14\u0e07\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48 CodeBERT \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1b\u0e23\u0e31\u0e1a\u0e41\u0e15\u0e48\u0e07\u0e44\u0e14\u0e49:<\/p>\n<table>\n<thead>\n<tr>\n<th>\u0e07\u0e32\u0e19<\/th>\n<th>\u0e04\u0e33\u0e2d\u0e18\u0e34\u0e1a\u0e32\u0e22<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e38\u0e1b\u0e42\u0e04\u0e49\u0e14<\/td>\n<td>\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e2a\u0e23\u0e38\u0e1b\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e04\u0e49\u0e14\u0e17\u0e35\u0e48\u0e01\u0e33\u0e2b\u0e19\u0e14<\/td>\n<\/tr>\n<tr>\n<td>\u0e01\u0e32\u0e23\u0e41\u0e1b\u0e25\u0e23\u0e2b\u0e31\u0e2a<\/td>\n<td>\u0e01\u0e32\u0e23\u0e41\u0e1b\u0e25\u0e42\u0e04\u0e49\u0e14\u0e08\u0e32\u0e01\u0e20\u0e32\u0e29\u0e32\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e2b\u0e19\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e35\u0e01\u0e20\u0e32\u0e29\u0e32\u0e2b\u0e19\u0e36\u0e48\u0e07<\/td>\n<\/tr>\n<tr>\n<td>\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e23\u0e2b\u0e31\u0e2a<\/td>\n<td>\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e04\u0e49\u0e14\u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49\u0e02\u0e49\u0e2d\u0e04\u0e27\u0e32\u0e21\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e17\u0e35\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34\u0e2b\u0e23\u0e37\u0e2d\u0e43\u0e19\u0e17\u0e32\u0e07\u0e01\u0e25\u0e31\u0e1a\u0e01\u0e31\u0e19<\/td>\n<\/tr>\n<tr>\n<td>\u0e01\u0e23\u0e2d\u0e01\u0e42\u0e04\u0e49\u0e14<\/td>\n<td>\u0e04\u0e32\u0e14\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e04\u0e27\u0e32\u0e21\u0e15\u0e48\u0e2d\u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e02\u0e2d\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e04\u0e49\u0e14\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e2a\u0e21\u0e1a\u0e39\u0e23\u0e13\u0e4c<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h2>\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 CodeBERT \u0e43\u0e19\u0e17\u0e32\u0e07\u0e1b\u0e0f\u0e34\u0e1a\u0e31\u0e15\u0e34: \u0e04\u0e27\u0e32\u0e21\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e41\u0e25\u0e30\u0e41\u0e19\u0e27\u0e17\u0e32\u0e07\u0e41\u0e01\u0e49\u0e44\u0e02<\/h2>\n<p>\u0e41\u0e21\u0e49\u0e08\u0e30\u0e21\u0e35\u0e28\u0e31\u0e01\u0e22\u0e20\u0e32\u0e1e \u0e41\u0e15\u0e48\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 CodeBERT \u0e01\u0e47\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e19\u0e33\u0e21\u0e32\u0e0b\u0e36\u0e48\u0e07\u0e04\u0e27\u0e32\u0e21\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e1a\u0e32\u0e07\u0e1b\u0e23\u0e30\u0e01\u0e32\u0e23\u0e44\u0e14\u0e49 \u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e40\u0e0a\u0e48\u0e19 \u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21 CodeBERT \u0e15\u0e49\u0e2d\u0e07\u0e43\u0e0a\u0e49\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e04\u0e49\u0e14\u0e17\u0e35\u0e48\u0e2b\u0e25\u0e32\u0e01\u0e2b\u0e25\u0e32\u0e22\u0e41\u0e25\u0e30\u0e2b\u0e25\u0e32\u0e01\u0e2b\u0e25\u0e32\u0e22\u0e43\u0e19\u0e2b\u0e25\u0e32\u0e22\u0e20\u0e32\u0e29\u0e32 \u0e19\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e19\u0e35\u0e49 \u0e40\u0e0a\u0e48\u0e19\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e42\u0e21\u0e40\u0e14\u0e25\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01\u0e2d\u0e37\u0e48\u0e19\u0e46 CodeBERT \u0e40\u0e19\u0e49\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25 \u0e41\u0e25\u0e30\u0e15\u0e49\u0e2d\u0e07\u0e43\u0e0a\u0e49\u0e17\u0e23\u0e31\u0e1e\u0e22\u0e32\u0e01\u0e23\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e08\u0e33\u0e19\u0e27\u0e19\u0e21\u0e32\u0e01<\/p>\n<p>\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23\u0e01\u0e47\u0e15\u0e32\u0e21 \u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19 \u0e40\u0e0a\u0e48\u0e19 \u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e41\u0e1a\u0e1a\u0e16\u0e48\u0e32\u0e22\u0e42\u0e2d\u0e19\u0e0b\u0e36\u0e48\u0e07\u0e21\u0e35\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e41\u0e15\u0e48\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25 CodeBERT \u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e07\u0e32\u0e19\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e40\u0e08\u0e32\u0e30\u0e08\u0e07 \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1a\u0e23\u0e23\u0e40\u0e17\u0e32\u0e04\u0e27\u0e32\u0e21\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e44\u0e14\u0e49 \u0e19\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e19\u0e35\u0e49 \u0e41\u0e1e\u0e25\u0e15\u0e1f\u0e2d\u0e23\u0e4c\u0e21\u0e1a\u0e19\u0e04\u0e25\u0e32\u0e27\u0e14\u0e4c\u0e22\u0e31\u0e07\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e19\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13\u0e17\u0e35\u0e48\u0e17\u0e23\u0e07\u0e1e\u0e25\u0e31\u0e07\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e1d\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25\u0e14\u0e31\u0e07\u0e01\u0e25\u0e48\u0e32\u0e27 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e44\u0e14\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1c\u0e39\u0e49\u0e0a\u0e21\u0e43\u0e19\u0e27\u0e07\u0e01\u0e27\u0e49\u0e32\u0e07<\/p>\n<h2>CodeBERT: \u0e01\u0e32\u0e23\u0e40\u0e1b\u0e23\u0e35\u0e22\u0e1a\u0e40\u0e17\u0e35\u0e22\u0e1a\u0e41\u0e25\u0e30\u0e40\u0e01\u0e13\u0e11\u0e4c\u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19<\/h2>\n<p>CodeBERT \u0e42\u0e14\u0e14\u0e40\u0e14\u0e48\u0e19\u0e08\u0e32\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e2d\u0e37\u0e48\u0e19\u0e46 \u0e17\u0e35\u0e48\u0e04\u0e25\u0e49\u0e32\u0e22\u0e04\u0e25\u0e36\u0e07\u0e01\u0e31\u0e19 \u0e40\u0e0a\u0e48\u0e19 RoBERTa \u0e41\u0e25\u0e30 GPT-2 \u0e42\u0e14\u0e22\u0e21\u0e38\u0e48\u0e07\u0e40\u0e19\u0e49\u0e19\u0e17\u0e35\u0e48\u0e01\u0e32\u0e23\u0e17\u0e33\u0e04\u0e27\u0e32\u0e21\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e20\u0e32\u0e29\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21 \u0e15\u0e32\u0e23\u0e32\u0e07\u0e15\u0e48\u0e2d\u0e44\u0e1b\u0e19\u0e35\u0e49\u0e41\u0e2a\u0e14\u0e07\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e23\u0e35\u0e22\u0e1a\u0e40\u0e17\u0e35\u0e22\u0e1a:<\/p>\n<table>\n<thead>\n<tr>\n<th>\u0e41\u0e1a\u0e1a\u0e2d\u0e22\u0e48\u0e32\u0e07<\/th>\n<th>\u0e08\u0e38\u0e14\u0e2a\u0e19\u0e43\u0e08<\/th>\n<th>\u0e07\u0e32\u0e19\u0e01\u0e48\u0e2d\u0e19\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u0e23\u0e2b\u0e31\u0e2aBERT<\/td>\n<td>\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e41\u0e25\u0e30\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34<\/td>\n<td>\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e20\u0e32\u0e29\u0e32\u0e21\u0e32\u0e2a\u0e01\u0e4c \u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e08\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e41\u0e17\u0e19\u0e17\u0e35\u0e48<\/td>\n<\/tr>\n<tr>\n<td>\u0e42\u0e23\u0e40\u0e1a\u0e2d\u0e23\u0e4c\u0e15\u0e49\u0e32<\/td>\n<td>\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34<\/td>\n<td>\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e20\u0e32\u0e29\u0e32\u0e21\u0e32\u0e2a\u0e01\u0e4c<\/td>\n<\/tr>\n<tr>\n<td>GPT-2<\/td>\n<td>\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34<\/td>\n<td>\u0e01\u0e32\u0e23\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e20\u0e32\u0e29\u0e32<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h2>\u0e21\u0e38\u0e21\u0e21\u0e2d\u0e07\u0e43\u0e19\u0e2d\u0e19\u0e32\u0e04\u0e15\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a CodeBERT<\/h2>\n<p>\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e34\u0e14\u0e15\u0e31\u0e27\u0e42\u0e21\u0e40\u0e14\u0e25\u0e2d\u0e22\u0e48\u0e32\u0e07 CodeBERT \u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e34\u0e14\u0e1b\u0e23\u0e30\u0e15\u0e39\u0e2a\u0e39\u0e48\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e02\u0e31\u0e49\u0e19\u0e2a\u0e39\u0e07\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e19\u0e31\u0e01\u0e1e\u0e31\u0e12\u0e19\u0e32 \u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35\u0e43\u0e19\u0e2d\u0e19\u0e32\u0e04\u0e15\u0e2d\u0e32\u0e08\u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e41\u0e01\u0e49\u0e44\u0e02\u0e42\u0e04\u0e49\u0e14\u0e2d\u0e31\u0e08\u0e09\u0e23\u0e34\u0e22\u0e30\u0e17\u0e35\u0e48\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e17\u0e33\u0e19\u0e32\u0e22\u0e40\u0e08\u0e15\u0e19\u0e32\u0e02\u0e2d\u0e07\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e40\u0e21\u0e2d\u0e23\u0e4c\u0e41\u0e25\u0e30\u0e42\u0e04\u0e49\u0e14\u0e40\u0e15\u0e34\u0e21\u0e2d\u0e31\u0e15\u0e42\u0e19\u0e21\u0e31\u0e15\u0e34\u0e41\u0e1a\u0e1a\u0e40\u0e23\u0e35\u0e22\u0e25\u0e44\u0e17\u0e21\u0e4c \u0e2b\u0e23\u0e37\u0e2d\u0e23\u0e30\u0e1a\u0e1a\u0e17\u0e35\u0e48\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e41\u0e25\u0e30\u0e41\u0e01\u0e49\u0e44\u0e02\u0e08\u0e38\u0e14\u0e1a\u0e01\u0e1e\u0e23\u0e48\u0e2d\u0e07\u0e43\u0e19\u0e42\u0e04\u0e49\u0e14\u0e44\u0e14\u0e49\u0e42\u0e14\u0e22\u0e2d\u0e31\u0e15\u0e42\u0e19\u0e21\u0e31\u0e15\u0e34<\/p>\n<p>\u0e19\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e19\u0e35\u0e49 CodeBERT \u0e22\u0e31\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e1a\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35\u0e2d\u0e37\u0e48\u0e19\u0e46 \u0e40\u0e0a\u0e48\u0e19 \u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e41\u0e1a\u0e1a\u0e40\u0e2a\u0e23\u0e34\u0e21\u0e01\u0e33\u0e25\u0e31\u0e07 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e04\u0e49\u0e14\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19 \u0e0b\u0e36\u0e48\u0e07\u0e19\u0e33\u0e44\u0e1b\u0e2a\u0e39\u0e48\u0e1c\u0e39\u0e49\u0e0a\u0e48\u0e27\u0e22\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e04\u0e49\u0e14 AI \u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e21\u0e32\u0e01\u0e22\u0e34\u0e48\u0e07\u0e02\u0e36\u0e49\u0e19<\/p>\n<h2>\u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e41\u0e25\u0e30 CodeBERT<\/h2>\n<p>\u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e21\u0e35\u0e1a\u0e17\u0e1a\u0e32\u0e17\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e43\u0e19\u0e01\u0e32\u0e23\u0e2d\u0e33\u0e19\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e30\u0e14\u0e27\u0e01\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e0a\u0e49\u0e42\u0e21\u0e40\u0e14\u0e25\u0e40\u0e0a\u0e48\u0e19 CodeBERT \u0e1e\u0e27\u0e01\u0e40\u0e02\u0e32\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e23\u0e31\u0e01\u0e29\u0e32\u0e04\u0e27\u0e32\u0e21\u0e1b\u0e25\u0e2d\u0e14\u0e20\u0e31\u0e22\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e44\u0e21\u0e48\u0e40\u0e1b\u0e34\u0e14\u0e40\u0e1c\u0e22\u0e15\u0e31\u0e27\u0e15\u0e19\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e2d\u0e35\u0e01\u0e0a\u0e31\u0e49\u0e19\u0e2b\u0e19\u0e36\u0e48\u0e07 \u0e0b\u0e36\u0e48\u0e07\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e22\u0e34\u0e48\u0e07\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e17\u0e33\u0e07\u0e32\u0e19\u0e01\u0e31\u0e1a\u0e42\u0e04\u0e49\u0e14\u0e40\u0e1a\u0e2a\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e38\u0e13\u0e04\u0e48\u0e32<\/p>\n<p>\u0e19\u0e2d\u0e01\u0e08\u0e32\u0e01\u0e19\u0e35\u0e49 \u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e22\u0e31\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1b\u0e23\u0e31\u0e1a\u0e2a\u0e21\u0e14\u0e38\u0e25\u0e42\u0e2b\u0e25\u0e14\u0e41\u0e25\u0e30\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e30\u0e01\u0e31\u0e19\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e17\u0e23\u0e31\u0e1e\u0e22\u0e32\u0e01\u0e23\u0e2d\u0e2d\u0e19\u0e44\u0e25\u0e19\u0e4c\u0e17\u0e35\u0e48\u0e23\u0e32\u0e1a\u0e23\u0e37\u0e48\u0e19\u0e41\u0e25\u0e30\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e0b\u0e36\u0e48\u0e07\u0e43\u0e0a\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e2b\u0e23\u0e37\u0e2d\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e0a\u0e49 CodeBERT \u0e42\u0e14\u0e22\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e22\u0e34\u0e48\u0e07\u0e43\u0e19\u0e2a\u0e20\u0e32\u0e1e\u0e41\u0e27\u0e14\u0e25\u0e49\u0e2d\u0e21\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e41\u0e1a\u0e1a\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22<\/p>\n<h2>\u0e25\u0e34\u0e07\u0e01\u0e4c\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07<\/h2>\n<p>\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1c\u0e39\u0e49\u0e17\u0e35\u0e48\u0e2a\u0e19\u0e43\u0e08\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a CodeBERT \u0e41\u0e2b\u0e25\u0e48\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e15\u0e48\u0e2d\u0e44\u0e1b\u0e19\u0e35\u0e49\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e32\u0e01:<\/p>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2002.08155\" target=\"_new\" rel=\"noopener nofollow\">CodeBERT: \u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e1b\u0e23\u0e41\u0e01\u0e23\u0e21\u0e41\u0e25\u0e30\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34<\/a> \u2013 \u0e1a\u0e17\u0e04\u0e27\u0e32\u0e21\u0e27\u0e34\u0e08\u0e31\u0e22\u0e15\u0e49\u0e19\u0e09\u0e1a\u0e31\u0e1a\u0e41\u0e19\u0e30\u0e19\u0e33 CodeBERT<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.microsoft.com\/en-us\/research\/lab\/microsoft-research-asia\/\" target=\"_new\" rel=\"noopener nofollow\">\u0e44\u0e21\u0e42\u0e04\u0e23\u0e0b\u0e2d\u0e1f\u0e15\u0e4c \u0e23\u0e35\u0e40\u0e2a\u0e34\u0e23\u0e4c\u0e0a \u0e40\u0e2d\u0e40\u0e0a\u0e35\u0e22<\/a> \u2013 \u0e2d\u0e07\u0e04\u0e4c\u0e01\u0e23\u0e17\u0e35\u0e48\u0e2d\u0e22\u0e39\u0e48\u0e40\u0e1a\u0e37\u0e49\u0e2d\u0e07\u0e2b\u0e25\u0e31\u0e07 CodeBERT<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1810.04805\" target=\"_new\" rel=\"noopener nofollow\">BERT: \u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e2b\u0e21\u0e49\u0e2d\u0e41\u0e1b\u0e25\u0e07\u0e2a\u0e2d\u0e07\u0e17\u0e34\u0e28\u0e17\u0e32\u0e07\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e01\u0e32\u0e23\u0e17\u0e33\u0e04\u0e27\u0e32\u0e21\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e20\u0e32\u0e29\u0e32<\/a> \u2013 \u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a BERT \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a CodeBERT<\/p>\n<\/li>\n<\/ol>","protected":false},"featured_media":467894,"menu_order":0,"template":"","meta":{"_acf_changed":false,"content-type":"","inline_featured_image":false,"footnotes":""},"class_list":["post-476306","wiki","type-wiki","status-publish","has-post-thumbnail","hentry"],"acf":{"faq_title":"Frequently Asked Questions about <mark>CodeBERT: A Bridge Between Code and Natural Language<\/mark>","faq_items":[{"question":"What is CodeBERT?","answer":"<p>CodeBERT is a pre-trained model developed by Microsoft Research Asia, designed specifically for understanding and processing programming languages. It uses a combination of natural language processing and programming languages to translate, summarize, and complete code, among other tasks.<\/p>"},{"question":"Who developed CodeBERT and when was it first mentioned?","answer":"<p>CodeBERT was developed by Microsoft Research Asia and was first mentioned in a research paper titled \"CodeBERT: A Pre-Trained Model for Programming and Natural Languages,\" published in 2020.<\/p>"},{"question":"How does CodeBERT work?","answer":"<p>CodeBERT uses a transformer-based model for its underlying operations. It leverages self-attention mechanisms to capture dependencies in input data. The model employs two pre-training techniques: masked language modeling, where it predicts randomly masked tokens from the input, and replaced token detection, where it identifies tokens that have been replaced with others.<\/p>"},{"question":"What are the key features of CodeBERT?","answer":"<p>CodeBERT has several key features. It can understand multiple programming languages, translate code snippets from one programming language to another, generate a natural language summary for a given piece of code, search for code snippets given a natural language query, and predict the likely continuation of an incomplete code snippet.<\/p>"},{"question":"What are some challenges of using CodeBERT and how can they be solved?","answer":"<p>Some challenges of using CodeBERT include the requirement of a large and diverse dataset for training and the extensive computational resources it requires. These challenges can be addressed by employing transfer learning, where a pre-trained CodeBERT model is fine-tuned for specific tasks, and by using cloud-based platforms for training.<\/p>"},{"question":"How does CodeBERT compare to similar models like RoBERTa and GPT-2?","answer":"<p>Unlike RoBERTa and GPT-2, which are primarily focused on natural languages, CodeBERT is designed to understand both programming and natural languages. While RoBERTa and GPT-2 use only masked language modeling and language modeling respectively as pre-training tasks, CodeBERT employs both masked language modeling and replaced token detection.<\/p>"},{"question":"How can proxy servers be used with CodeBERT?","answer":"<p>Proxy servers can provide an additional layer of security when working with CodeBERT, especially when dealing with valuable codebases. They can also balance the load and ensure efficient access to online resources used for training or deploying CodeBERT, particularly in a distributed computing environment.<\/p>"},{"question":"What are some future perspectives related to CodeBERT?","answer":"<p>Future technologies may leverage CodeBERT to develop intelligent code editors that predict a programmer's intent and autocomplete code, or systems that understand and fix bugs in code automatically. It could also be combined with technologies like reinforcement learning to create models that learn to code more effectively.<\/p>"}]},"_links":{"self":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/wiki\/476306","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/wiki"}],"about":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/types\/wiki"}],"version-history":[{"count":0,"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/wiki\/476306\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/media\/467894"}],"wp:attachment":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/media?parent=476306"}],"curies":[{"name":"\u0e2b\u0e19\u0e49\u0e32","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}