接上篇博客
題目描述：
自定義一個可微并且存在最小值的一元函數(shù)，用梯度下降法求其最小值。并繪制出學習率從0.1到0.9（步長0.1）時，達到最小值時所迭代的次數(shù)的關系曲線，根據(jù)該曲線給出簡單的分析。
代碼：
# -*- coding: utf-8 -*-
"""
Created on Tue Jun 4 10:19:03 2019
@author: Administrator
"""
import
numpy
as
np
import
matplotlib
.
pyplot
as
plt
plot_x
=
np
.
linspace
(
-
1
,
6
,
150
)
#在-1到6之間等距的生成150個數(shù)
plot_y
=
(
plot_x
-
2.5
)
**
2
+
3
# 同時根據(jù)plot_x來生成plot_y（y=(x-2.5)2+3）
plt
.
plot
(
plot_x
,
plot_y
)
plt
.
show
(
)
###定義一個求二次函數(shù)導數(shù)的函數(shù)dJ
def
dJ
(
x
)
:
return
2
*
(
x
-
2.5
)
###定義一個求函數(shù)值的函數(shù)J
def
J
(
x
)
:
try
:
return
(
x
-
2.5
)
**
2
+
3
except
:
return
float
(
'inf'
)
x
=
0.0
#隨機選取一個起始點
eta
=
0.1
#eta是學習率，用來控制步長的大小
epsilon
=
1e
-
8
#用來判斷是否到達二次函數(shù)的最小值點的條件
history_x
=
[
x
]
#用來記錄使用梯度下降法走過的點的X坐標
count
=
0
min
=
0
while
True
:
gradient
=
dJ
(
x
)
#梯度（導數(shù)）
last_x
=
x
x
=
x
-
eta
*
gradient
history_x
.
append
(
x
)
count
=
count
+
1
if
(
abs
(
J
(
last_x
)
-
J
(
x
)
)
<
epsilon
)
:
#用來判斷是否逼近最低點
min
=
x
break
plt
.
plot
(
plot_x
,
plot_y
)
plt
.
plot
(
np
.
array
(
history_x
)
,
J
(
np
.
array
(
history_x
)
)
,
color
=
'r'
,
marker
=
'*'
)
#繪制x的軌跡
plt
.
show
(
)
print
'min_x ='
,
(
min
)
print
'min_y ='
,
(
J
(
min
)
)
#打印到達最低點時y的值
print
'count ='
,
(
count
)
sum_eta
=
[
]
result
=
[
]
for
i
in
range
(
1
,
10
,
1
)
:
x
=
0.0
#隨機選取一個起始點
eta
=
i
*
0.1
sum_eta
.
append
(
eta
)
epsilon
=
1e
-
8
#用來判斷是否到達二次函數(shù)的最小值點的條件
num
=
0
min
=
0
while
True
:
gradient
=
dJ
(
x
)
#梯度（導數(shù)）
last_x
=
x
x
=
x
-
eta
*
gradient
num
=
num
+
1
if
(
abs
(
J
(
last_x
)
-
J
(
x
)
)
<
epsilon
)
:
#用來判斷是否逼近最低點
min
=
x
break
result
.
append
(
num
)
#記錄學習率從0.1到0.9（步長0.1）時，達到最小值時所迭代的次數(shù)
plt
.
scatter
(
sum_eta
,
result
,
c
=
'r'
)
plt
.
plot
(
sum_eta
,
result
,
c
=
'r'
)
plt
.
title
(
"relation"
)
plt
.
xlabel
(
"eta"
)
plt
.
ylabel
(
"count"
)
plt
.
show
print
(
result
)
運行結果：
結果分析：
函數(shù)y=(x-2.5)2+3從學習率和迭代次數(shù)的關系圖上我們可以知道當學習率較低時迭代次數(shù)較多，隨著學習率的增大，迭代次數(shù)開始逐漸減少，當學習率為0.5時迭代次數(shù)最少，之后隨著學習率的增加，迭代次數(shù)開始增加，當學習率為0.9時迭代次數(shù)和0.1時相等。關于0.5成對稱分布。
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
