机器学习——神经网络

2023-07-03

8.2 神经网络模型

任务：

给定数据集X和y
请补全以下代码以实现一个简单的神经元模型（即不包含隐层），并计算模型的参数向量w_vec

预期结果

待补全代码

import numpy as np
import pandas as pd
# 输入X和y
X = np.array([ [0,0,1],
[1,1,1],
[1,0,1],
[0,1,1]])

y = np.array([[0,1,1,0]]).T

# 请在下方作答 #
# Sigmoid激活函数以及其导数
def sigmoid(x, derivative = False):
    # 计算sigmoid的输出
    sigmoid_value = 1/(1+np.exp(-x))
    if derivative == False:     
        return sigmoid_value
    
    elif derivative == True:
        # 计算sigmoid的导数
        return sigmoid_value*(1 - sigmoid_value)

# 迭代次数
iter_num  = 1000

# 初始化权重向量w
num, dim = X.shape
w_vec = np.ones((dim, 1))
for iter in range(iter_num):
    ## 通过权重向量w_vec，实现线性加和，结果为z1
    z_1 =  np.dot(X,w_vec)

    # 经过激活函数Sigmoid，获得输出a_1
    a_1 = sigmoid(z_1)
      
    # 模型输出a_1与真实值的误差
    error = a_1 - y
    
    # 已知损失函数loss为交叉熵即sum (ylog a_1 + (1-y)log (1 - a1)), 计算损失函数针对w_vec的梯度
    # w_vec_delta = np.dot((d_z_1 / d_w_vec),(np.multiply((d_loss / d_a_1),(d_a1 / d_z_1)))) / num
    w_vec_delta = np.dot(X.T, error) / float(num)
    
    # 更新权重
    w_vec = w_vec - 0.2*w_vec_delta   
print (w_vec)

[[ 7.3479134 ]
 [-0.40159405]
 [-3.2656747 ]]