{"id":479160,"date":"2023-08-09T10:31:59","date_gmt":"2023-08-09T10:31:59","guid":{"rendered":""},"modified":"2023-09-05T11:18:19","modified_gmt":"2023-09-05T11:18:19","slug":"stochastic-gradient-descent","status":"publish","type":"wiki","link":"https:\/\/oneproxy.pro\/th\/wiki\/stochastic-gradient-descent\/","title":{"rendered":"\u0e42\u0e04\u0e15\u0e23\u0e25\u0e32\u0e14\u0e2a\u0e38\u0e48\u0e21"},"content":{"rendered":"<p>Stochastic Gradient Descent (SGD) \u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e31\u0e25\u0e01\u0e2d\u0e23\u0e34\u0e18\u0e36\u0e21\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e22\u0e2d\u0e14\u0e19\u0e34\u0e22\u0e21\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e01\u0e31\u0e19\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e41\u0e1e\u0e23\u0e48\u0e2b\u0e25\u0e32\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e02\u0e2d\u0e07\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01 \u0e21\u0e35\u0e1a\u0e17\u0e1a\u0e32\u0e17\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e43\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e01\u0e32\u0e23\u0e08\u0e14\u0e08\u0e33\u0e23\u0e39\u0e1b\u0e20\u0e32\u0e1e \u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e20\u0e32\u0e29\u0e32\u0e18\u0e23\u0e23\u0e21\u0e0a\u0e32\u0e15\u0e34 \u0e41\u0e25\u0e30\u0e23\u0e30\u0e1a\u0e1a\u0e01\u0e32\u0e23\u0e41\u0e19\u0e30\u0e19\u0e33 SGD \u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e02\u0e22\u0e32\u0e22\u0e02\u0e2d\u0e07\u0e2d\u0e31\u0e25\u0e01\u0e2d\u0e23\u0e34\u0e18\u0e36\u0e21\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e41\u0e25\u0e30\u0e21\u0e35\u0e08\u0e38\u0e14\u0e21\u0e38\u0e48\u0e07\u0e2b\u0e21\u0e32\u0e22\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e04\u0e49\u0e19\u0e2b\u0e32\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e02\u0e2d\u0e07\u0e41\u0e1a\u0e1a\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e42\u0e14\u0e22\u0e01\u0e32\u0e23\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e0b\u0e49\u0e33\u0e46 \u0e42\u0e14\u0e22\u0e2d\u0e34\u0e07\u0e15\u0e32\u0e21\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22\u0e40\u0e25\u0e47\u0e01\u0e46 \u0e02\u0e2d\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21 \u0e17\u0e35\u0e48\u0e40\u0e23\u0e35\u0e22\u0e01\u0e27\u0e48\u0e32\u0e21\u0e34\u0e19\u0e34\u0e41\u0e1a\u0e17\u0e0a\u0e4c<\/p>\n<h2>\u0e1b\u0e23\u0e30\u0e27\u0e31\u0e15\u0e34\u0e04\u0e27\u0e32\u0e21\u0e40\u0e1b\u0e47\u0e19\u0e21\u0e32\u0e02\u0e2d\u0e07\u0e15\u0e49\u0e19\u0e01\u0e33\u0e40\u0e19\u0e34\u0e14\u0e02\u0e2d\u0e07 Stochastic Gradient Descent \u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e01\u0e25\u0e48\u0e32\u0e27\u0e16\u0e36\u0e07\u0e04\u0e23\u0e31\u0e49\u0e07\u0e41\u0e23\u0e01\u0e02\u0e2d\u0e07\u0e21\u0e31\u0e19<\/h2>\n<p>\u0e41\u0e19\u0e27\u0e04\u0e34\u0e14\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e38\u0e48\u0e21\u0e21\u0e35\u0e21\u0e32\u0e15\u0e31\u0e49\u0e07\u0e41\u0e15\u0e48\u0e15\u0e49\u0e19\u0e17\u0e28\u0e27\u0e23\u0e23\u0e29 1950 \u0e40\u0e21\u0e37\u0e48\u0e2d\u0e19\u0e31\u0e01\u0e27\u0e34\u0e08\u0e31\u0e22\u0e44\u0e14\u0e49\u0e2a\u0e33\u0e23\u0e27\u0e08\u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23\u0e01\u0e47\u0e15\u0e32\u0e21 \u0e01\u0e32\u0e23\u0e01\u0e25\u0e48\u0e32\u0e27\u0e16\u0e36\u0e07 Stochastic Gradient Descent \u0e04\u0e23\u0e31\u0e49\u0e07\u0e41\u0e23\u0e01\u0e43\u0e19\u0e1a\u0e23\u0e34\u0e1a\u0e17\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e02\u0e2d\u0e07\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e22\u0e49\u0e2d\u0e19\u0e01\u0e25\u0e31\u0e1a\u0e44\u0e1b\u0e43\u0e19\u0e17\u0e28\u0e27\u0e23\u0e23\u0e29 1960 \u0e41\u0e19\u0e27\u0e04\u0e34\u0e14\u0e19\u0e35\u0e49\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e19\u0e34\u0e22\u0e21\u0e43\u0e19\u0e0a\u0e48\u0e27\u0e07\u0e17\u0e28\u0e27\u0e23\u0e23\u0e29 1980 \u0e41\u0e25\u0e30 1990 \u0e40\u0e21\u0e37\u0e48\u0e2d\u0e41\u0e2a\u0e14\u0e07\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e47\u0e19\u0e27\u0e48\u0e32\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e42\u0e04\u0e23\u0e07\u0e02\u0e48\u0e32\u0e22\u0e1b\u0e23\u0e30\u0e2a\u0e32\u0e17\u0e40\u0e17\u0e35\u0e22\u0e21\u0e41\u0e25\u0e30\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e2d\u0e37\u0e48\u0e19\u0e46<\/p>\n<h2>\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e42\u0e14\u0e22\u0e25\u0e30\u0e40\u0e2d\u0e35\u0e22\u0e14\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a Stochastic Gradient Descent<\/h2>\n<p>SGD \u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e31\u0e25\u0e01\u0e2d\u0e23\u0e34\u0e18\u0e36\u0e21\u0e01\u0e32\u0e23\u0e2b\u0e32\u0e04\u0e48\u0e32\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e41\u0e1a\u0e1a\u0e27\u0e19\u0e0b\u0e49\u0e33\u0e0b\u0e36\u0e48\u0e07\u0e21\u0e35\u0e08\u0e38\u0e14\u0e21\u0e38\u0e48\u0e07\u0e2b\u0e21\u0e32\u0e22\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e25\u0e14\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e25\u0e37\u0e2d\u0e19\u0e49\u0e2d\u0e22\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e42\u0e14\u0e22\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e02\u0e2d\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25 \u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e41\u0e1a\u0e1a\u0e14\u0e31\u0e49\u0e07\u0e40\u0e14\u0e34\u0e21\u0e0b\u0e36\u0e48\u0e07\u0e04\u0e33\u0e19\u0e27\u0e13\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 (\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e41\u0e1a\u0e1a\u0e01\u0e25\u0e38\u0e48\u0e21) SGD \u0e08\u0e30\u0e2a\u0e38\u0e48\u0e21\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e08\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22\u0e41\u0e25\u0e30\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e15\u0e32\u0e21\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e02\u0e2d\u0e07\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22\u0e17\u0e35\u0e48\u0e04\u0e33\u0e19\u0e27\u0e13\u0e1a\u0e19\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22\u0e19\u0e35\u0e49<\/p>\n<p>\u0e02\u0e31\u0e49\u0e19\u0e15\u0e2d\u0e19\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e01\u0e31\u0e1a\u0e2d\u0e31\u0e25\u0e01\u0e2d\u0e23\u0e34\u0e18\u0e36\u0e21 Stochastic Gradient Descent \u0e21\u0e35\u0e14\u0e31\u0e07\u0e19\u0e35\u0e49:<\/p>\n<ol>\n<li>\u0e40\u0e23\u0e34\u0e48\u0e21\u0e15\u0e49\u0e19\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e42\u0e21\u0e40\u0e14\u0e25\u0e41\u0e1a\u0e1a\u0e2a\u0e38\u0e48\u0e21<\/li>\n<li>\u0e2a\u0e38\u0e48\u0e21\u0e2a\u0e31\u0e1a\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21<\/li>\n<li>\u0e41\u0e1a\u0e48\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e2d\u0e2d\u0e01\u0e40\u0e1b\u0e47\u0e19\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22<\/li>\n<li>\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e41\u0e15\u0e48\u0e25\u0e30\u0e21\u0e34\u0e19\u0e34\u0e41\u0e1a\u0e17\u0e0a\u0e4c \u0e43\u0e2b\u0e49\u0e04\u0e33\u0e19\u0e27\u0e13\u0e04\u0e27\u0e32\u0e21\u0e0a\u0e31\u0e19\u0e02\u0e2d\u0e07\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22\u0e15\u0e32\u0e21\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c<\/li>\n<li>\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e42\u0e21\u0e40\u0e14\u0e25\u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e17\u0e35\u0e48\u0e04\u0e33\u0e19\u0e27\u0e13\u0e41\u0e25\u0e30\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49 \u0e0b\u0e36\u0e48\u0e07\u0e04\u0e27\u0e1a\u0e04\u0e38\u0e21\u0e02\u0e19\u0e32\u0e14\u0e02\u0e31\u0e49\u0e19\u0e15\u0e2d\u0e19\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15<\/li>\n<li>\u0e17\u0e33\u0e0b\u0e49\u0e33\u0e02\u0e31\u0e49\u0e19\u0e15\u0e2d\u0e19\u0e19\u0e35\u0e49\u0e0b\u0e49\u0e33\u0e15\u0e32\u0e21\u0e08\u0e33\u0e19\u0e27\u0e19\u0e04\u0e07\u0e17\u0e35\u0e48\u0e2b\u0e23\u0e37\u0e2d\u0e08\u0e19\u0e01\u0e27\u0e48\u0e32\u0e08\u0e30\u0e16\u0e36\u0e07\u0e40\u0e01\u0e13\u0e11\u0e4c\u0e01\u0e32\u0e23\u0e25\u0e39\u0e48\u0e40\u0e02\u0e49\u0e32<\/li>\n<\/ol>\n<h2>\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e20\u0e32\u0e22\u0e43\u0e19\u0e02\u0e2d\u0e07 Stochastic Gradient Descent \u2013 \u0e27\u0e34\u0e18\u0e35\u0e01\u0e32\u0e23\u0e17\u0e33\u0e07\u0e32\u0e19\u0e02\u0e2d\u0e07 SGD<\/h2>\n<p>\u0e41\u0e19\u0e27\u0e04\u0e34\u0e14\u0e2b\u0e25\u0e31\u0e01\u0e40\u0e1a\u0e37\u0e49\u0e2d\u0e07\u0e2b\u0e25\u0e31\u0e07 Stochastic Gradient Descent \u0e04\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e41\u0e19\u0e30\u0e19\u0e33\u0e01\u0e32\u0e23\u0e2a\u0e38\u0e48\u0e21\u0e43\u0e19\u0e01\u0e32\u0e23\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e42\u0e14\u0e22\u0e43\u0e0a\u0e49\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22 \u0e01\u0e32\u0e23\u0e2a\u0e38\u0e48\u0e21\u0e19\u0e35\u0e49\u0e21\u0e31\u0e01\u0e08\u0e30\u0e19\u0e33\u0e44\u0e1b\u0e2a\u0e39\u0e48\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e17\u0e35\u0e48\u0e40\u0e23\u0e47\u0e27\u0e02\u0e36\u0e49\u0e19 \u0e41\u0e25\u0e30\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e0a\u0e48\u0e27\u0e22\u0e2b\u0e25\u0e35\u0e01\u0e40\u0e25\u0e35\u0e48\u0e22\u0e07\u0e04\u0e48\u0e32\u0e15\u0e48\u0e33\u0e2a\u0e38\u0e14\u0e43\u0e19\u0e1e\u0e37\u0e49\u0e19\u0e17\u0e35\u0e48\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21 \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23\u0e01\u0e47\u0e15\u0e32\u0e21 \u0e01\u0e32\u0e23\u0e2a\u0e38\u0e48\u0e21\u0e22\u0e31\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e41\u0e01\u0e27\u0e48\u0e07\u0e44\u0e1b\u0e23\u0e2d\u0e1a \u0e46 \u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e44\u0e14\u0e49<\/p>\n<p>SGD \u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e43\u0e19\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13 \u0e42\u0e14\u0e22\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48 \u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e08\u0e30\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22\u0e40\u0e25\u0e47\u0e01\u0e46 \u0e43\u0e19\u0e41\u0e15\u0e48\u0e25\u0e30\u0e23\u0e2d\u0e1a\u0e0b\u0e49\u0e33 \u0e04\u0e38\u0e13\u0e2a\u0e21\u0e1a\u0e31\u0e15\u0e34\u0e19\u0e35\u0e49\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48\u0e17\u0e35\u0e48\u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e1e\u0e2d\u0e14\u0e35\u0e01\u0e31\u0e1a\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14 \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23\u0e01\u0e47\u0e15\u0e32\u0e21 \u0e2a\u0e31\u0e0d\u0e0d\u0e32\u0e13\u0e23\u0e1a\u0e01\u0e27\u0e19\u0e17\u0e35\u0e48\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e2a\u0e38\u0e48\u0e21\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e21\u0e35\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e14\u0e31\u0e07 \u0e2a\u0e48\u0e07\u0e1c\u0e25\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e04\u0e27\u0e32\u0e21\u0e1c\u0e31\u0e19\u0e1c\u0e27\u0e19\u0e43\u0e19\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01<\/p>\n<p>\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e40\u0e2d\u0e32\u0e0a\u0e19\u0e30\u0e2a\u0e34\u0e48\u0e07\u0e19\u0e35\u0e49 \u0e08\u0e36\u0e07\u0e21\u0e35\u0e01\u0e32\u0e23\u0e40\u0e2a\u0e19\u0e2d SGD \u0e2b\u0e25\u0e32\u0e22\u0e23\u0e39\u0e1b\u0e41\u0e1a\u0e1a \u0e40\u0e0a\u0e48\u0e19:<\/p>\n<ul>\n<li><strong>\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e41\u0e1a\u0e1a\u0e21\u0e34\u0e19\u0e34\u0e41\u0e1a\u0e17\u0e0a\u0e4c<\/strong>: \u0e42\u0e14\u0e22\u0e08\u0e30\u0e43\u0e0a\u0e49\u0e08\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e0a\u0e38\u0e14\u0e17\u0e35\u0e48\u0e21\u0e35\u0e02\u0e19\u0e32\u0e14\u0e04\u0e07\u0e17\u0e35\u0e48\u0e02\u0e19\u0e32\u0e14\u0e40\u0e25\u0e47\u0e01\u0e43\u0e19\u0e01\u0e32\u0e23\u0e27\u0e19\u0e0b\u0e49\u0e33\u0e41\u0e15\u0e48\u0e25\u0e30\u0e04\u0e23\u0e31\u0e49\u0e07 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e21\u0e14\u0e38\u0e25\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e04\u0e27\u0e32\u0e21\u0e40\u0e2a\u0e16\u0e35\u0e22\u0e23\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e41\u0e1a\u0e1a\u0e01\u0e25\u0e38\u0e48\u0e21\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13\u0e02\u0e2d\u0e07 SGD<\/li>\n<li><strong>\u0e2d\u0e2d\u0e19\u0e44\u0e25\u0e19\u0e4c \u0e42\u0e04\u0e15\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a<\/strong>: \u0e08\u0e30\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e08\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e25\u0e30\u0e08\u0e38\u0e14 \u0e42\u0e14\u0e22\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e2b\u0e25\u0e31\u0e07\u0e08\u0e32\u0e01\u0e08\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e41\u0e15\u0e48\u0e25\u0e30\u0e08\u0e38\u0e14 \u0e27\u0e34\u0e18\u0e35\u0e01\u0e32\u0e23\u0e19\u0e35\u0e49\u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e40\u0e2a\u0e16\u0e35\u0e22\u0e23\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e32\u0e01 \u0e41\u0e15\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e15\u0e49\u0e2d\u0e07\u0e23\u0e31\u0e1a\u0e21\u0e37\u0e2d\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e2a\u0e15\u0e23\u0e35\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25<\/li>\n<\/ul>\n<h2>\u0e01\u0e32\u0e23\u0e27\u0e34\u0e40\u0e04\u0e23\u0e32\u0e30\u0e2b\u0e4c\u0e04\u0e38\u0e13\u0e2a\u0e21\u0e1a\u0e31\u0e15\u0e34\u0e17\u0e35\u0e48\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e02\u0e2d\u0e07 Stochastic Gradient Descent<\/h2>\n<p>\u0e04\u0e38\u0e13\u0e2a\u0e21\u0e1a\u0e31\u0e15\u0e34\u0e17\u0e35\u0e48\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e02\u0e2d\u0e07 Stochastic Gradient Descent \u0e44\u0e14\u0e49\u0e41\u0e01\u0e48:<\/p>\n<ol>\n<li><strong>\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e<\/strong>: SGD \u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e40\u0e25\u0e47\u0e01\u0e19\u0e49\u0e2d\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e27\u0e19\u0e0b\u0e49\u0e33\u0e41\u0e15\u0e48\u0e25\u0e30\u0e04\u0e23\u0e31\u0e49\u0e07 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e43\u0e19\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13 \u0e42\u0e14\u0e22\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48<\/li>\n<li><strong>\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e02\u0e19\u0e32\u0e14\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33<\/strong>: \u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01 SGD \u0e17\u0e33\u0e07\u0e32\u0e19\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e1a\u0e21\u0e34\u0e19\u0e34\u0e41\u0e1a\u0e17\u0e0a\u0e4c \u0e08\u0e36\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e1e\u0e2d\u0e14\u0e35\u0e01\u0e31\u0e1a\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14\u0e44\u0e14\u0e49<\/li>\n<li><strong>\u0e04\u0e27\u0e32\u0e21\u0e1a\u0e31\u0e07\u0e40\u0e2d\u0e34\u0e0d<\/strong>: \u0e25\u0e31\u0e01\u0e29\u0e13\u0e30\u0e2a\u0e38\u0e48\u0e21\u0e02\u0e2d\u0e07 SGD \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e0a\u0e48\u0e27\u0e22\u0e2b\u0e25\u0e35\u0e01\u0e40\u0e25\u0e35\u0e48\u0e22\u0e07\u0e04\u0e48\u0e32\u0e15\u0e48\u0e33\u0e2a\u0e38\u0e14\u0e43\u0e19\u0e17\u0e49\u0e2d\u0e07\u0e16\u0e34\u0e48\u0e19\u0e41\u0e25\u0e30\u0e2b\u0e25\u0e35\u0e01\u0e40\u0e25\u0e35\u0e48\u0e22\u0e07\u0e01\u0e32\u0e23\u0e15\u0e34\u0e14\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e17\u0e35\u0e48\u0e23\u0e32\u0e1a\u0e2a\u0e39\u0e07\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21<\/li>\n<li><strong>\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e23\u0e1a\u0e01\u0e27\u0e19<\/strong>: \u0e01\u0e32\u0e23\u0e2a\u0e38\u0e48\u0e21\u0e17\u0e35\u0e48\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e2a\u0e38\u0e48\u0e21\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e21\u0e34\u0e19\u0e34\u0e41\u0e1a\u0e17\u0e0a\u0e4c\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e04\u0e27\u0e32\u0e21\u0e1c\u0e31\u0e19\u0e1c\u0e27\u0e19\u0e43\u0e19\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22 \u0e2a\u0e48\u0e07\u0e1c\u0e25\u0e43\u0e2b\u0e49\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e21\u0e35\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e14\u0e31\u0e07<\/li>\n<\/ol>\n<h2>\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e02\u0e2d\u0e07 Stochastic Gradient Descent<\/h2>\n<p>Stochastic Gradient Descent \u0e21\u0e35\u0e2b\u0e25\u0e32\u0e22\u0e23\u0e39\u0e1b\u0e41\u0e1a\u0e1a \u0e42\u0e14\u0e22\u0e41\u0e15\u0e48\u0e25\u0e30\u0e41\u0e1a\u0e1a\u0e21\u0e35\u0e25\u0e31\u0e01\u0e29\u0e13\u0e30\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e02\u0e2d\u0e07\u0e15\u0e31\u0e27\u0e40\u0e2d\u0e07 \u0e15\u0e48\u0e2d\u0e44\u0e1b\u0e19\u0e35\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e17\u0e31\u0e48\u0e27\u0e44\u0e1b\u0e1a\u0e32\u0e07\u0e2a\u0e48\u0e27\u0e19:<\/p>\n<table>\n<thead>\n<tr>\n<th>\u0e1e\u0e34\u0e21\u0e1e\u0e4c<\/th>\n<th>\u0e04\u0e33\u0e2d\u0e18\u0e34\u0e1a\u0e32\u0e22<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e41\u0e1a\u0e1a\u0e21\u0e34\u0e19\u0e34\u0e41\u0e1a\u0e17\u0e0a\u0e4c<\/td>\n<td>\u0e43\u0e0a\u0e49\u0e08\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e0a\u0e38\u0e14\u0e17\u0e35\u0e48\u0e21\u0e35\u0e02\u0e19\u0e32\u0e14\u0e04\u0e07\u0e17\u0e35\u0e48\u0e02\u0e19\u0e32\u0e14\u0e40\u0e25\u0e47\u0e01\u0e43\u0e19\u0e01\u0e32\u0e23\u0e27\u0e19\u0e0b\u0e49\u0e33\u0e41\u0e15\u0e48\u0e25\u0e30\u0e04\u0e23\u0e31\u0e49\u0e07<\/td>\n<\/tr>\n<tr>\n<td>\u0e2d\u0e2d\u0e19\u0e44\u0e25\u0e19\u0e4c \u0e42\u0e04\u0e15\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a<\/td>\n<td>\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e08\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e25\u0e30\u0e08\u0e38\u0e14 \u0e42\u0e14\u0e22\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e2b\u0e25\u0e31\u0e07\u0e08\u0e32\u0e01\u0e08\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e41\u0e15\u0e48\u0e25\u0e30\u0e08\u0e38\u0e14<\/td>\n<\/tr>\n<tr>\n<td>\u0e42\u0e21\u0e40\u0e21\u0e19\u0e15\u0e31\u0e21 SGD<\/td>\n<td>\u0e23\u0e27\u0e21\u0e42\u0e21\u0e40\u0e21\u0e19\u0e15\u0e31\u0e21\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e23\u0e32\u0e1a\u0e23\u0e37\u0e48\u0e19\u0e41\u0e25\u0e30\u0e40\u0e23\u0e48\u0e07\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19<\/td>\n<\/tr>\n<tr>\n<td>Nesterov \u0e40\u0e23\u0e48\u0e07\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35 (NAG)<\/td>\n<td>\u0e2a\u0e48\u0e27\u0e19\u0e02\u0e22\u0e32\u0e22\u0e02\u0e2d\u0e07\u0e42\u0e21\u0e40\u0e21\u0e19\u0e15\u0e31\u0e21 SGD \u0e17\u0e35\u0e48\u0e1b\u0e23\u0e31\u0e1a\u0e17\u0e34\u0e28\u0e17\u0e32\u0e07\u0e01\u0e32\u0e23\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e17\u0e35\u0e48\u0e14\u0e35\u0e02\u0e36\u0e49\u0e19<\/td>\n<\/tr>\n<tr>\n<td>\u0e2d\u0e14\u0e32\u0e01\u0e23\u0e32\u0e14<\/td>\n<td>\u0e1b\u0e23\u0e31\u0e1a\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e41\u0e15\u0e48\u0e25\u0e30\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e15\u0e32\u0e21\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e43\u0e19\u0e2d\u0e14\u0e35\u0e15<\/td>\n<\/tr>\n<tr>\n<td>RMSprop<\/td>\n<td>\u0e04\u0e25\u0e49\u0e32\u0e22\u0e01\u0e31\u0e1a Adagrad \u0e41\u0e15\u0e48\u0e43\u0e0a\u0e49\u0e04\u0e48\u0e32\u0e40\u0e09\u0e25\u0e35\u0e48\u0e22\u0e40\u0e04\u0e25\u0e37\u0e48\u0e2d\u0e19\u0e17\u0e35\u0e48\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e01\u0e33\u0e25\u0e31\u0e07\u0e2a\u0e2d\u0e07\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e1b\u0e23\u0e31\u0e1a\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49<\/td>\n<\/tr>\n<tr>\n<td>\u0e2d\u0e14\u0e31\u0e21<\/td>\n<td>\u0e1c\u0e2a\u0e21\u0e1c\u0e2a\u0e32\u0e19\u0e04\u0e38\u0e13\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e02\u0e2d\u0e07\u0e42\u0e21\u0e40\u0e21\u0e19\u0e15\u0e31\u0e21\u0e41\u0e25\u0e30 RMSprop \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e40\u0e23\u0e47\u0e27\u0e02\u0e36\u0e49\u0e19<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h2>\u0e27\u0e34\u0e18\u0e35\u0e43\u0e0a\u0e49 Stochastic Gradient Descent \u0e1b\u0e31\u0e0d\u0e2b\u0e32 \u0e41\u0e25\u0e30\u0e41\u0e19\u0e27\u0e17\u0e32\u0e07\u0e41\u0e01\u0e49\u0e44\u0e02\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19<\/h2>\n<p>Stochastic Gradient Descent \u0e43\u0e0a\u0e49\u0e01\u0e31\u0e19\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e41\u0e1e\u0e23\u0e48\u0e2b\u0e25\u0e32\u0e22\u0e43\u0e19\u0e07\u0e32\u0e19\u0e41\u0e21\u0e0a\u0e0a\u0e35\u0e19\u0e40\u0e25\u0e34\u0e23\u0e4c\u0e19\u0e19\u0e34\u0e07\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e42\u0e14\u0e22\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e22\u0e34\u0e48\u0e07\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e42\u0e04\u0e23\u0e07\u0e02\u0e48\u0e32\u0e22\u0e1b\u0e23\u0e30\u0e2a\u0e32\u0e17\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01 \u0e1b\u0e23\u0e30\u0e2a\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e40\u0e23\u0e47\u0e08\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e08\u0e33\u0e19\u0e27\u0e19\u0e21\u0e32\u0e01\u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e41\u0e25\u0e30\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e19\u0e01\u0e32\u0e23\u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48 \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23\u0e01\u0e47\u0e15\u0e32\u0e21 \u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 SGD \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e21\u0e32\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e01\u0e31\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22:<\/p>\n<ol>\n<li>\n<p><strong>\u0e01\u0e32\u0e23\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49<\/strong>: \u0e01\u0e32\u0e23\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e34\u0e48\u0e07\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e02\u0e2d\u0e07 SGD \u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e17\u0e35\u0e48\u0e2a\u0e39\u0e07\u0e40\u0e01\u0e34\u0e19\u0e44\u0e1b\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e2d\u0e2d\u0e01\u0e44\u0e1b \u0e43\u0e19\u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e17\u0e35\u0e48\u0e15\u0e48\u0e33\u0e40\u0e01\u0e34\u0e19\u0e44\u0e1b\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e0a\u0e49\u0e32 \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e27\u0e25\u0e32\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e2d\u0e31\u0e25\u0e01\u0e2d\u0e23\u0e34\u0e18\u0e36\u0e21\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e41\u0e1a\u0e1a\u0e1b\u0e23\u0e31\u0e1a\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e0a\u0e48\u0e27\u0e22\u0e1a\u0e23\u0e23\u0e40\u0e17\u0e32\u0e1b\u0e31\u0e0d\u0e2b\u0e32\u0e19\u0e35\u0e49\u0e44\u0e14\u0e49<\/p>\n<\/li>\n<li>\n<p><strong>\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e23\u0e1a\u0e01\u0e27\u0e19\u0e41\u0e25\u0e30\u0e04\u0e27\u0e32\u0e21\u0e1c\u0e31\u0e19\u0e1c\u0e27\u0e19<\/strong>: \u0e25\u0e31\u0e01\u0e29\u0e13\u0e30\u0e2a\u0e38\u0e48\u0e21\u0e02\u0e2d\u0e07 SGD \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e23\u0e1a\u0e01\u0e27\u0e19 \u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e04\u0e27\u0e32\u0e21\u0e1c\u0e31\u0e19\u0e1c\u0e27\u0e19\u0e43\u0e19\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 \u0e2a\u0e34\u0e48\u0e07\u0e19\u0e35\u0e49\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e04\u0e27\u0e32\u0e21\u0e17\u0e49\u0e32\u0e17\u0e32\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1e\u0e34\u0e08\u0e32\u0e23\u0e13\u0e32\u0e27\u0e48\u0e32\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e19\u0e31\u0e49\u0e19\u0e21\u0e32\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e41\u0e17\u0e49\u0e08\u0e23\u0e34\u0e07\u0e2b\u0e23\u0e37\u0e2d\u0e15\u0e34\u0e14\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e42\u0e0b\u0e25\u0e39\u0e0a\u0e31\u0e19\u0e17\u0e35\u0e48\u0e15\u0e48\u0e33\u0e01\u0e27\u0e48\u0e32\u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e41\u0e01\u0e49\u0e44\u0e02\u0e1b\u0e31\u0e0d\u0e2b\u0e32\u0e19\u0e35\u0e49 \u0e19\u0e31\u0e01\u0e27\u0e34\u0e08\u0e31\u0e22\u0e21\u0e31\u0e01\u0e08\u0e30\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e23\u0e31\u0e19\u0e2b\u0e25\u0e32\u0e22\u0e04\u0e23\u0e31\u0e49\u0e07 \u0e2b\u0e23\u0e37\u0e2d\u0e43\u0e0a\u0e49\u0e01\u0e32\u0e23\u0e2b\u0e22\u0e38\u0e14\u0e01\u0e48\u0e2d\u0e19\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e15\u0e32\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a<\/p>\n<\/li>\n<li>\n<p><strong>\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e17\u0e35\u0e48\u0e2b\u0e32\u0e22\u0e44\u0e1b\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e23\u0e30\u0e40\u0e1a\u0e34\u0e14<\/strong>: \u0e43\u0e19\u0e42\u0e04\u0e23\u0e07\u0e02\u0e48\u0e32\u0e22\u0e1b\u0e23\u0e30\u0e2a\u0e32\u0e17\u0e40\u0e17\u0e35\u0e22\u0e21\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01 \u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e2d\u0e32\u0e08\u0e21\u0e35\u0e02\u0e19\u0e32\u0e14\u0e40\u0e25\u0e47\u0e01\u0e25\u0e07\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e16\u0e32\u0e27\u0e23\u0e2b\u0e23\u0e37\u0e2d\u0e23\u0e30\u0e40\u0e1a\u0e34\u0e14\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01 \u0e0b\u0e36\u0e48\u0e07\u0e2a\u0e48\u0e07\u0e1c\u0e25\u0e15\u0e48\u0e2d\u0e01\u0e32\u0e23\u0e2d\u0e31\u0e1b\u0e40\u0e14\u0e15\u0e1e\u0e32\u0e23\u0e32\u0e21\u0e34\u0e40\u0e15\u0e2d\u0e23\u0e4c \u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e40\u0e0a\u0e48\u0e19 \u0e01\u0e32\u0e23\u0e15\u0e31\u0e14\u0e41\u0e1a\u0e1a\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e1b\u0e47\u0e19\u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19\u0e41\u0e1a\u0e1a\u0e41\u0e1a\u0e17\u0e0a\u0e4c\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e40\u0e2a\u0e16\u0e35\u0e22\u0e23\u0e44\u0e14\u0e49<\/p>\n<\/li>\n<li>\n<p><strong>\u0e08\u0e38\u0e14\u0e2d\u0e32\u0e19<\/strong>: SGD \u0e2d\u0e32\u0e08\u0e15\u0e34\u0e14\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e08\u0e38\u0e14\u0e2d\u0e32\u0e19 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e08\u0e38\u0e14\u0e27\u0e34\u0e01\u0e24\u0e15\u0e02\u0e2d\u0e07\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22 \u0e42\u0e14\u0e22\u0e17\u0e35\u0e48\u0e1a\u0e32\u0e07\u0e17\u0e34\u0e28\u0e17\u0e32\u0e07\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e42\u0e04\u0e49\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e1a\u0e27\u0e01 \u0e43\u0e19\u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e1a\u0e32\u0e07\u0e17\u0e34\u0e28\u0e17\u0e32\u0e07\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e42\u0e04\u0e49\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e25\u0e1a \u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 SGD \u0e17\u0e35\u0e48\u0e41\u0e1b\u0e23\u0e1c\u0e31\u0e19\u0e15\u0e32\u0e21\u0e42\u0e21\u0e40\u0e21\u0e19\u0e15\u0e31\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e0a\u0e48\u0e27\u0e22\u0e40\u0e2d\u0e32\u0e0a\u0e19\u0e30\u0e08\u0e38\u0e14\u0e2d\u0e32\u0e19\u0e21\u0e49\u0e32\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19<\/p>\n<\/li>\n<\/ol>\n<h2>\u0e25\u0e31\u0e01\u0e29\u0e13\u0e30\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e23\u0e35\u0e22\u0e1a\u0e40\u0e17\u0e35\u0e22\u0e1a\u0e2d\u0e37\u0e48\u0e19 \u0e46 \u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e04\u0e25\u0e49\u0e32\u0e22\u0e04\u0e25\u0e36\u0e07\u0e01\u0e31\u0e19<\/h2>\n<table>\n<thead>\n<tr>\n<th>\u0e25\u0e31\u0e01\u0e29\u0e13\u0e30\u0e40\u0e09\u0e1e\u0e32\u0e30<\/th>\n<th>\u0e42\u0e04\u0e15\u0e23\u0e25\u0e32\u0e14\u0e2a\u0e38\u0e48\u0e21 (SGD)<\/th>\n<th>\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e2a\u0e35\u0e41\u0e1a\u0e1a\u0e41\u0e1a\u0e17\u0e0a\u0e4c<\/th>\n<th>\u0e01\u0e32\u0e23\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e44\u0e25\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e41\u0e1a\u0e1a\u0e21\u0e34\u0e19\u0e34\u0e41\u0e1a\u0e17\u0e0a\u0e4c<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25<\/td>\n<td>\u0e2a\u0e38\u0e48\u0e21\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22\u0e08\u0e32\u0e01\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21<\/td>\n<td>\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14\u0e1e\u0e23\u0e49\u0e2d\u0e21\u0e01\u0e31\u0e19<\/td>\n<td>\u0e2a\u0e38\u0e48\u0e21\u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e0a\u0e38\u0e14\u0e22\u0e48\u0e2d\u0e22 \u0e0b\u0e36\u0e48\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e19\u0e35\u0e1b\u0e23\u0e30\u0e19\u0e2d\u0e21\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07 SGD \u0e41\u0e25\u0e30 Batch GD<\/td>\n<\/tr>\n<tr>\n<td>\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13<\/td>\n<td>\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e39\u0e07 \u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e2a\u0e48\u0e27\u0e19\u0e40\u0e25\u0e47\u0e01\u0e46 \u0e40\u0e17\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19<\/td>\n<td>\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e19\u0e49\u0e2d\u0e22\u0e25\u0e07 \u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e31\u0e49\u0e07\u0e2b\u0e21\u0e14<\/td>\n<td>\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e \u0e41\u0e15\u0e48\u0e44\u0e21\u0e48\u0e21\u0e32\u0e01\u0e40\u0e17\u0e48\u0e32\u0e01\u0e31\u0e1a SGD \u0e1a\u0e23\u0e34\u0e2a\u0e38\u0e17\u0e18\u0e34\u0e4c<\/td>\n<\/tr>\n<tr>\n<td>\u0e04\u0e38\u0e13\u0e2a\u0e21\u0e1a\u0e31\u0e15\u0e34\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19<\/td>\n<td>\u0e2d\u0e32\u0e08\u0e21\u0e32\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e40\u0e23\u0e47\u0e27\u0e02\u0e36\u0e49\u0e19\u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e2b\u0e25\u0e1a\u0e2b\u0e19\u0e35\u0e02\u0e31\u0e49\u0e19\u0e15\u0e48\u0e33\u0e2a\u0e38\u0e14\u0e43\u0e19\u0e17\u0e49\u0e2d\u0e07\u0e16\u0e34\u0e48\u0e19<\/td>\n<td>\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e0a\u0e49\u0e32\u0e41\u0e15\u0e48\u0e21\u0e35\u0e40\u0e2a\u0e16\u0e35\u0e22\u0e23\u0e20\u0e32\u0e1e\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19<\/td>\n<td>\u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e08\u0e1a\u0e01\u0e31\u0e19\u0e40\u0e23\u0e47\u0e27\u0e01\u0e27\u0e48\u0e32 Batch GD<\/td>\n<\/tr>\n<tr>\n<td>\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e23\u0e1a\u0e01\u0e27\u0e19<\/td>\n<td>\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e23\u0e1a\u0e01\u0e27\u0e19\u0e0b\u0e36\u0e48\u0e07\u0e19\u0e33\u0e44\u0e1b\u0e2a\u0e39\u0e48\u0e04\u0e27\u0e32\u0e21\u0e1c\u0e31\u0e19\u0e1c\u0e27\u0e19\u0e43\u0e19\u0e1f\u0e31\u0e07\u0e01\u0e4c\u0e0a\u0e31\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e39\u0e0d\u0e40\u0e2a\u0e35\u0e22<\/td>\n<td>\u0e44\u0e21\u0e48\u0e21\u0e35\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e23\u0e1a\u0e01\u0e27\u0e19\u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e43\u0e0a\u0e49\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e15\u0e47\u0e21<\/td>\n<td>\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e40\u0e01\u0e34\u0e14\u0e40\u0e2a\u0e35\u0e22\u0e07\u0e23\u0e1a\u0e01\u0e27\u0e19\u0e1a\u0e49\u0e32\u0e07 \u0e41\u0e15\u0e48\u0e19\u0e49\u0e2d\u0e22\u0e01\u0e27\u0e48\u0e32 SGD \u0e1a\u0e23\u0e34\u0e2a\u0e38\u0e17\u0e18\u0e34\u0e4c<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<h2>\u0e21\u0e38\u0e21\u0e21\u0e2d\u0e07\u0e41\u0e25\u0e30\u0e40\u0e17\u0e04\u0e42\u0e19\u0e42\u0e25\u0e22\u0e35\u0e41\u0e2b\u0e48\u0e07\u0e2d\u0e19\u0e32\u0e04\u0e15\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e01\u0e31\u0e1a Stochastic Gradient Descent<\/h2>\n<p>Stochastic Gradient Descent \u0e22\u0e31\u0e07\u0e04\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e2d\u0e31\u0e25\u0e01\u0e2d\u0e23\u0e34\u0e18\u0e36\u0e21\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e02\u0e31\u0e49\u0e19\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e43\u0e19\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e02\u0e2d\u0e07\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07 \u0e41\u0e25\u0e30\u0e04\u0e32\u0e14\u0e27\u0e48\u0e32\u0e08\u0e30\u0e21\u0e35\u0e1a\u0e17\u0e1a\u0e32\u0e17\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e43\u0e19\u0e2d\u0e19\u0e32\u0e04\u0e15 \u0e19\u0e31\u0e01\u0e27\u0e34\u0e08\u0e31\u0e22\u0e01\u0e33\u0e25\u0e31\u0e07\u0e2a\u0e33\u0e23\u0e27\u0e08\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e41\u0e25\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e15\u0e48\u0e2d\u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e41\u0e25\u0e30\u0e04\u0e27\u0e32\u0e21\u0e40\u0e2a\u0e16\u0e35\u0e22\u0e23 \u0e01\u0e32\u0e23\u0e1e\u0e31\u0e12\u0e19\u0e32\u0e17\u0e35\u0e48\u0e2d\u0e32\u0e08\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e43\u0e19\u0e2d\u0e19\u0e32\u0e04\u0e15 \u0e44\u0e14\u0e49\u0e41\u0e01\u0e48 :<\/p>\n<ol>\n<li>\n<p><strong>\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e41\u0e1a\u0e1a\u0e1b\u0e23\u0e31\u0e1a\u0e15\u0e31\u0e27<\/strong>: \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1e\u0e31\u0e12\u0e19\u0e32\u0e2d\u0e31\u0e25\u0e01\u0e2d\u0e23\u0e34\u0e18\u0e36\u0e21\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e41\u0e1a\u0e1a\u0e1b\u0e23\u0e31\u0e1a\u0e15\u0e31\u0e27\u0e17\u0e35\u0e48\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e22\u0e34\u0e48\u0e07\u0e02\u0e36\u0e49\u0e19\u0e44\u0e14\u0e49 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e01\u0e31\u0e1a\u0e1b\u0e31\u0e0d\u0e2b\u0e32\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e43\u0e2b\u0e49\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e43\u0e19\u0e27\u0e07\u0e01\u0e27\u0e49\u0e32\u0e07\u0e17\u0e35\u0e48\u0e01\u0e27\u0e49\u0e32\u0e07\u0e02\u0e36\u0e49\u0e19\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e<\/p>\n<\/li>\n<li>\n<p><strong>\u0e01\u0e32\u0e23\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e02\u0e19\u0e32\u0e19\u0e01\u0e31\u0e19<\/strong>: \u0e01\u0e32\u0e23\u0e23\u0e27\u0e21 SGD \u0e41\u0e1a\u0e1a\u0e02\u0e19\u0e32\u0e19\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e0a\u0e49\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e08\u0e32\u0e01\u0e42\u0e1b\u0e23\u0e40\u0e0b\u0e2a\u0e40\u0e0b\u0e2d\u0e23\u0e4c\u0e2b\u0e25\u0e32\u0e22\u0e15\u0e31\u0e27\u0e2b\u0e23\u0e37\u0e2d\u0e23\u0e30\u0e1a\u0e1a\u0e04\u0e2d\u0e21\u0e1e\u0e34\u0e27\u0e40\u0e15\u0e2d\u0e23\u0e4c\u0e41\u0e1a\u0e1a\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e23\u0e48\u0e07\u0e40\u0e27\u0e25\u0e32\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e42\u0e21\u0e40\u0e14\u0e25\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e32\u0e01<\/p>\n<\/li>\n<li>\n<p><strong>\u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e01\u0e32\u0e23\u0e40\u0e23\u0e48\u0e07\u0e04\u0e27\u0e32\u0e21\u0e40\u0e23\u0e47\u0e27<\/strong>: \u0e40\u0e17\u0e04\u0e19\u0e34\u0e04\u0e15\u0e48\u0e32\u0e07\u0e46 \u0e40\u0e0a\u0e48\u0e19 \u0e42\u0e21\u0e40\u0e21\u0e19\u0e15\u0e31\u0e21 \u0e04\u0e27\u0e32\u0e21\u0e40\u0e23\u0e48\u0e07\u0e41\u0e1a\u0e1a\u0e40\u0e19\u0e2a\u0e40\u0e15\u0e2d\u0e23\u0e2d\u0e1f \u0e41\u0e25\u0e30\u0e27\u0e34\u0e18\u0e35\u0e01\u0e32\u0e23\u0e25\u0e14\u0e04\u0e27\u0e32\u0e21\u0e41\u0e1b\u0e23\u0e1b\u0e23\u0e27\u0e19\u0e2d\u0e32\u0e08\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e04\u0e27\u0e32\u0e21\u0e40\u0e23\u0e47\u0e27\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e25\u0e39\u0e48\u0e40\u0e02\u0e49\u0e32<\/p>\n<\/li>\n<\/ol>\n<h2>\u0e27\u0e34\u0e18\u0e35\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e40\u0e0a\u0e37\u0e48\u0e2d\u0e21\u0e42\u0e22\u0e07\u0e01\u0e31\u0e1a\u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e01\u0e31\u0e1a Stochastic Gradient Descent<\/h2>\n<p>\u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e17\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e15\u0e31\u0e27\u0e01\u0e25\u0e32\u0e07\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e44\u0e04\u0e25\u0e40\u0e2d\u0e19\u0e15\u0e4c\u0e41\u0e25\u0e30\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2d\u0e37\u0e48\u0e19 \u0e46 \u0e1a\u0e19\u0e2d\u0e34\u0e19\u0e40\u0e17\u0e2d\u0e23\u0e4c\u0e40\u0e19\u0e47\u0e15 \u0e41\u0e21\u0e49\u0e27\u0e48\u0e32\u0e08\u0e30\u0e44\u0e21\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e42\u0e14\u0e22\u0e15\u0e23\u0e07\u0e01\u0e31\u0e1a Stochastic Gradient Descent \u0e41\u0e15\u0e48\u0e01\u0e47\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e44\u0e14\u0e49\u0e43\u0e19\u0e2a\u0e16\u0e32\u0e19\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e40\u0e09\u0e1e\u0e32\u0e30 \u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e40\u0e0a\u0e48\u0e19:<\/p>\n<ol>\n<li>\n<p><strong>\u0e04\u0e27\u0e32\u0e21\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e15\u0e31\u0e27\u0e02\u0e2d\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25<\/strong>: \u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1d\u0e36\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e02\u0e2d\u0e07\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e1a\u0e19\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e25\u0e30\u0e40\u0e2d\u0e35\u0e22\u0e14\u0e2d\u0e48\u0e2d\u0e19\u0e2b\u0e23\u0e37\u0e2d\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e23\u0e23\u0e21\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e4c \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e44\u0e21\u0e48\u0e40\u0e1b\u0e34\u0e14\u0e40\u0e1c\u0e22\u0e15\u0e31\u0e27\u0e15\u0e19 \u0e1b\u0e01\u0e1b\u0e49\u0e2d\u0e07\u0e04\u0e27\u0e32\u0e21\u0e40\u0e1b\u0e47\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e15\u0e31\u0e27\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49<\/p>\n<\/li>\n<li>\n<p><strong>\u0e42\u0e2b\u0e25\u0e14\u0e1a\u0e32\u0e25\u0e32\u0e19\u0e0b\u0e4c<\/strong>: \u0e43\u0e19\u0e23\u0e30\u0e1a\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e02\u0e2d\u0e07\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e41\u0e1a\u0e1a\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22 \u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e2a\u0e21\u0e14\u0e38\u0e25\u0e42\u0e2b\u0e25\u0e14\u0e41\u0e25\u0e30\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22\u0e1b\u0e23\u0e34\u0e21\u0e32\u0e13\u0e07\u0e32\u0e19\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e<\/p>\n<\/li>\n<li>\n<p><strong>\u0e40\u0e01\u0e47\u0e1a\u0e40\u0e2d\u0e32\u0e44\u0e27\u0e49<\/strong>: \u0e1e\u0e23\u0e47\u0e2d\u0e01\u0e0b\u0e35\u0e40\u0e0b\u0e34\u0e23\u0e4c\u0e1f\u0e40\u0e27\u0e2d\u0e23\u0e4c\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e41\u0e04\u0e0a\u0e17\u0e23\u0e31\u0e1e\u0e22\u0e32\u0e01\u0e23\u0e17\u0e35\u0e48\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e1a\u0e48\u0e2d\u0e22 \u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e0a\u0e38\u0e14\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e02\u0e19\u0e32\u0e14\u0e40\u0e25\u0e47\u0e01 \u0e0b\u0e36\u0e48\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e40\u0e27\u0e25\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e44\u0e14\u0e49<\/p>\n<\/li>\n<\/ol>\n<h2>\u0e25\u0e34\u0e07\u0e01\u0e4c\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07<\/h2>\n<p>\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a Stochastic Gradient Descent \u0e04\u0e38\u0e13\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e14\u0e39\u0e44\u0e14\u0e49\u0e08\u0e32\u0e01\u0e41\u0e2b\u0e25\u0e48\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e15\u0e48\u0e2d\u0e44\u0e1b\u0e19\u0e35\u0e49:<\/p>\n<ol>\n<li><a href=\"http:\/\/cs231n.github.io\/optimization-1\/\" target=\"_new\" rel=\"noopener nofollow\">\u0e21\u0e2b\u0e32\u0e27\u0e34\u0e17\u0e22\u0e32\u0e25\u0e31\u0e22\u0e2a\u0e41\u0e15\u0e19\u0e1f\u0e2d\u0e23\u0e4c\u0e14 CS231n \u0e01\u0e32\u0e23\u0e1a\u0e23\u0e23\u0e22\u0e32\u0e22\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e27\u0e34\u0e18\u0e35\u0e01\u0e32\u0e23\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e<\/a><\/li>\n<li><a href=\"https:\/\/www.deeplearningbook.org\/contents\/optimization.html\" target=\"_new\" rel=\"noopener nofollow\">\u0e2b\u0e19\u0e31\u0e07\u0e2a\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e19\u0e23\u0e39\u0e49\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01 \u2013 \u0e1a\u0e17\u0e17\u0e35\u0e48 8: \u0e01\u0e32\u0e23\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e1d\u0e36\u0e01\u0e2d\u0e1a\u0e23\u0e21\u0e42\u0e21\u0e40\u0e14\u0e25\u0e40\u0e0a\u0e34\u0e07\u0e25\u0e36\u0e01<\/a><\/li>\n<\/ol>\n<p>\u0e2d\u0e22\u0e48\u0e32\u0e25\u0e37\u0e21\u0e2a\u0e33\u0e23\u0e27\u0e08\u0e41\u0e2b\u0e25\u0e48\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e35\u0e49\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e17\u0e33\u0e04\u0e27\u0e32\u0e21\u0e40\u0e02\u0e49\u0e32\u0e43\u0e08\u0e41\u0e19\u0e27\u0e04\u0e34\u0e14\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e22\u0e38\u0e01\u0e15\u0e4c\u0e43\u0e0a\u0e49 Stochastic Gradient Descent \u0e43\u0e2b\u0e49\u0e25\u0e36\u0e01\u0e0b\u0e36\u0e49\u0e07\u0e22\u0e34\u0e48\u0e07\u0e02\u0e36\u0e49\u0e19<\/p>","protected":false},"featured_media":470609,"menu_order":0,"template":"","meta":{"_acf_changed":false,"content-type":"","inline_featured_image":false,"footnotes":""},"class_list":["post-479160","wiki","type-wiki","status-publish","has-post-thumbnail","hentry"],"acf":{"faq_title":"Frequently Asked Questions about <mark>Stochastic Gradient Descent: An In-depth Analysis<\/mark>","faq_items":[{"question":"What is Stochastic Gradient Descent (SGD)?","answer":"<p>Stochastic Gradient Descent (SGD) is an optimization algorithm used in machine learning and deep learning to find the optimal parameters of a model by iteratively updating them based on mini-batches of training data. It introduces randomness in the parameter updates, making it computationally efficient and capable of handling large datasets.<\/p>"},{"question":"How does Stochastic Gradient Descent work?","answer":"<p>SGD works by randomly sampling mini-batches of data from the training set and computing the gradient of the loss function with respect to the model parameters on these mini-batches. The parameters are then updated using the computed gradient and a learning rate, which controls the step size of the updates. This process is repeated iteratively until the convergence criteria are met.<\/p>"},{"question":"What are the key features of Stochastic Gradient Descent?","answer":"<p>The key features of SGD include its efficiency, memory scalability, and ability to escape local minima due to the randomness introduced by mini-batch sampling. However, it can also introduce noise in the optimization process, leading to fluctuations in the loss function during training.<\/p>"},{"question":"What types of Stochastic Gradient Descent exist?","answer":"<p>Several variants of Stochastic Gradient Descent have been developed, including:<\/p><ul><li>Mini-batch Gradient Descent: Uses a fixed-size batch of data points in each iteration.<\/li><li>Online Gradient Descent: Processes one data point at a time.<\/li><li>Momentum SGD: Incorporates momentum to accelerate convergence.<\/li><li>Nesterov Accelerated Gradient (NAG): Adjusts the update direction for better performance.<\/li><li>Adagrad and RMSprop: Adaptive learning rate algorithms.<\/li><li>Adam: Combines benefits of momentum and RMSprop for faster convergence.<\/li><\/ul>"},{"question":"How can Stochastic Gradient Descent be used, and what are the challenges?","answer":"<p>SGD is widely used in machine learning tasks, particularly in training deep neural networks. However, using SGD effectively comes with challenges, such as selecting an appropriate learning rate, dealing with noise and fluctuations, handling vanishing and exploding gradients, and addressing saddle points.<\/p>"},{"question":"What are the future perspectives of Stochastic Gradient Descent?","answer":"<p>In the future, researchers are expected to explore improvements in adaptive learning rates, parallelization, and acceleration techniques to further enhance the performance and stability of SGD in machine learning applications.<\/p>"},{"question":"How are proxy servers associated with Stochastic Gradient Descent?","answer":"<p>Proxy servers can be relevant in scenarios involving data privacy, load balancing in distributed systems, and caching frequently accessed resources like mini-batches during SGD training. They can complement the use of SGD in specific machine learning setups.<\/p>"}]},"_links":{"self":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/wiki\/479160","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/wiki"}],"about":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/types\/wiki"}],"version-history":[{"count":0,"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/wiki\/479160\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/media\/470609"}],"wp:attachment":[{"href":"https:\/\/oneproxy.pro\/th\/wp-json\/wp\/v2\/media?parent=479160"}],"curies":[{"name":"\u0e2b\u0e19\u0e49\u0e32","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}