func ReshapeParams(val *matrix.Matrix, layerSizes []int) []*matrix.Matrix {
vals := val.Values()
thetas := make(nn.Parameters, 0, len(layerSizes)-1)
offset := 0
for i := 0; i < len(layerSizes)-1; i++ {
thetas = append(thetas, matrix.FromSlice(vals[offset:offset+(layerSizes[i+1]*layerSizes[i]+1)], layerSizes[i+1], layerSizes[i]+1))
offset += layerSizes[i+1]*layerSizes[i] + 1
}
return thetas
}
func Normalizer(in <-chan *matrix.Matrix, min, r *matrix.Matrix) <-chan *matrix.Matrix {
out := make(chan *matrix.Matrix)
rOver := r.Copy()
rOver.Apply(oneOver)
var v *matrix.Matrix
go func() {
for vec := range in {
v, _ = vec.Sub(min)
out <- v.EWProd(rOver)
}
close(out)
}()
return out
}
func Fmincg(f CostGradientFunc, theta *matrix.Matrix, maxIter int, verbose bool) *matrix.Matrix {
length := maxIter
M := 0.0
i := 0
red := 1.0
lsFailed := 0
f1, df1 := f(theta)
if length < 0 {
i += 1
}
s := df1.Scale(-1.0)
d1 := s.Scale(-1.0).Dot(s)
z1 := red / (1 - d1)
for float64(i) < math.Abs(float64(length)) {
if length > 0 {
i += 1
}
theta0 := theta.Copy()
f0 := f1
df0 := df1
theta, _ = theta.Add(s.Scale(z1))
f2, df2 := f(theta)
if length < 0 {
i += 1
}
d2 := df2.Dot(s)
f3 := f1
d3 := d1
z3 := -1.0 * z1
if length > 0 {
M = _MAX
} else {
M = math.Min(_MAX, -1.0*float64(length-i))
}
success := 0
limit := -1.0
var A float64
var B float64
var z2 float64
for {
for ((f2 > f1+z1*_RHO*d1) || (d2 > -1.0*_SIG*d1)) && (M > 0) {
limit = z1
if f2 > f1 {
z2 = z3 - (0.5*d3*z3*z3)/(d3*z3+f2-f3)
} else {
A = 6*(f2-f3)/z3 + 3*(d2+d3)
B = 3*(f3-f2) - z3*(d3+2*d2)
z2 = (math.Sqrt(B*B-A*d2*z3*z3) - B) / A
}
if math.IsNaN(z2) || math.IsInf(z2, 0) {
z2 = z3 / 2
}
z2 = math.Max(math.Min(z2, _INT*z3), (1-_INT)*z3)
z1 = z1 + z2
theta, _ = theta.Add(s.Scale(z2))
f2, df2 = f(theta)
M -= 1
if length < 0 {
i += 1
}
d2 = df2.Dot(s)
z3 = z3 - z2
}
if f2 > f1+z1*_RHO*d1 || d2 > -1.0*_SIG*d1 {
break // failure
} else if d2 > _SIG*d1 {
success = 1
break // success!
} else if M == 0 {
break //failure
}
A = 6*(f2-f3)/z3 + 3*(d2+d3)
B = 3*(f3-f2) - z3*(d3+2*d2)
z2 = -1.0 * d2 * z3 * z3 / (B + math.Sqrt(B*B-A*d2*z3*z3))
if math.IsNaN(z2) || math.IsInf(z2, 0) || z2 < 0 {
if limit < -0.5 {
z2 = z1 * (_EXT - 1)
} else {
z2 = (limit - z1) / 2.0
}
} else if (limit > -0.5) && (z2+z1 > z1*_EXT) {
z2 = (limit - z1) / 2.0
} else if (limit < -0.5) && (z2+z1 > z1*_EXT) {
z2 = z1 * (_EXT - 1.0)
} else if z2 < (-1.0 * z3 * _INT) {
z2 = -1.0 * z3 * _INT
} else if (limit > -0.5) && (z2 < (limit-z1)*(1.0-_INT)) {
z2 = (limit - z1) * (1.0 - _INT)
}
f3 = f2
d3 = d2
z3 = -1.0 * z2
z1 = z1 + z2
theta, _ = theta.Add(s.Scale(z2))
f2, df2 = f(theta)
M -= 1
if length < 0 {
i += 1
}
d2 = df2.Dot(s)
}
if success == 1 {
f1 = f2
if verbose {
fmt.Printf("Iteration %d | Cost: %0.15f\n", i, f1)
}
numerator := (df2.Dot(df2) - df1.Dot(df2)) / df1.Dot(df1)
s, _ = s.Scale(numerator).Sub(df2)
tmp := df1
df1 = df2
df2 = tmp
d2 = df1.Dot(s)
if d2 > 0 {
s = df1.Scale(-1.0)
d2 = s.Scale(-1.0).Dot(s)
}
//z1 = z1 * math.Min(_RATIO, d1/(d2-math.SmallestNonzeroFloat64))
z1 = z1 * math.Min(_RATIO, d1/(d2-1e-15))
d1 = d2
lsFailed = 0
} else {
theta = theta0
f1 = f0
df1 = df0
if lsFailed == 1 || float64(i) > math.Abs(float64(length)) {
break
}
tmp := df1
df1 = df2
df2 = tmp
s = df1.Scale(-1.0)
z1 = 1.0 / (1.0 - d1)
lsFailed = 1
}
}
return theta
}