func ReshapeParams(val *matrix.Matrix, layerSizes []int) []*matrix.Matrix {
	vals := val.Values()
	thetas := make(nn.Parameters, 0, len(layerSizes)-1)

	offset := 0
	for i := 0; i < len(layerSizes)-1; i++ {
		thetas = append(thetas, matrix.FromSlice(vals[offset:offset+(layerSizes[i+1]*layerSizes[i]+1)], layerSizes[i+1], layerSizes[i]+1))
		offset += layerSizes[i+1]*layerSizes[i] + 1
	}

	return thetas
}
func Normalizer(in <-chan *matrix.Matrix, min, r *matrix.Matrix) <-chan *matrix.Matrix {
	out := make(chan *matrix.Matrix)

	rOver := r.Copy()
	rOver.Apply(oneOver)

	var v *matrix.Matrix

	go func() {
		for vec := range in {
			v, _ = vec.Sub(min)
			out <- v.EWProd(rOver)
		}
		close(out)
	}()

	return out
}
Example #3
0
func Fmincg(f CostGradientFunc, theta *matrix.Matrix, maxIter int, verbose bool) *matrix.Matrix {
	length := maxIter

	M := 0.0
	i := 0
	red := 1.0
	lsFailed := 0

	f1, df1 := f(theta)
	if length < 0 {
		i += 1
	}

	s := df1.Scale(-1.0)
	d1 := s.Scale(-1.0).Dot(s)
	z1 := red / (1 - d1)

	for float64(i) < math.Abs(float64(length)) {
		if length > 0 {
			i += 1
		}

		theta0 := theta.Copy()
		f0 := f1
		df0 := df1

		theta, _ = theta.Add(s.Scale(z1))
		f2, df2 := f(theta)
		if length < 0 {
			i += 1
		}

		d2 := df2.Dot(s)

		f3 := f1
		d3 := d1
		z3 := -1.0 * z1

		if length > 0 {
			M = _MAX
		} else {
			M = math.Min(_MAX, -1.0*float64(length-i))
		}

		success := 0
		limit := -1.0

		var A float64
		var B float64
		var z2 float64

		for {
			for ((f2 > f1+z1*_RHO*d1) || (d2 > -1.0*_SIG*d1)) && (M > 0) {
				limit = z1

				if f2 > f1 {
					z2 = z3 - (0.5*d3*z3*z3)/(d3*z3+f2-f3)
				} else {
					A = 6*(f2-f3)/z3 + 3*(d2+d3)
					B = 3*(f3-f2) - z3*(d3+2*d2)
					z2 = (math.Sqrt(B*B-A*d2*z3*z3) - B) / A
				}

				if math.IsNaN(z2) || math.IsInf(z2, 0) {
					z2 = z3 / 2
				}

				z2 = math.Max(math.Min(z2, _INT*z3), (1-_INT)*z3)
				z1 = z1 + z2

				theta, _ = theta.Add(s.Scale(z2))
				f2, df2 = f(theta)

				M -= 1
				if length < 0 {
					i += 1
				}

				d2 = df2.Dot(s)
				z3 = z3 - z2
			}

			if f2 > f1+z1*_RHO*d1 || d2 > -1.0*_SIG*d1 {
				break // failure
			} else if d2 > _SIG*d1 {
				success = 1
				break // success!
			} else if M == 0 {
				break //failure
			}

			A = 6*(f2-f3)/z3 + 3*(d2+d3)
			B = 3*(f3-f2) - z3*(d3+2*d2)

			z2 = -1.0 * d2 * z3 * z3 / (B + math.Sqrt(B*B-A*d2*z3*z3))

			if math.IsNaN(z2) || math.IsInf(z2, 0) || z2 < 0 {
				if limit < -0.5 {
					z2 = z1 * (_EXT - 1)
				} else {
					z2 = (limit - z1) / 2.0
				}
			} else if (limit > -0.5) && (z2+z1 > z1*_EXT) {
				z2 = (limit - z1) / 2.0
			} else if (limit < -0.5) && (z2+z1 > z1*_EXT) {
				z2 = z1 * (_EXT - 1.0)
			} else if z2 < (-1.0 * z3 * _INT) {
				z2 = -1.0 * z3 * _INT
			} else if (limit > -0.5) && (z2 < (limit-z1)*(1.0-_INT)) {
				z2 = (limit - z1) * (1.0 - _INT)
			}

			f3 = f2
			d3 = d2
			z3 = -1.0 * z2
			z1 = z1 + z2

			theta, _ = theta.Add(s.Scale(z2))
			f2, df2 = f(theta)

			M -= 1
			if length < 0 {
				i += 1
			}

			d2 = df2.Dot(s)
		}

		if success == 1 {
			f1 = f2
			if verbose {
				fmt.Printf("Iteration %d | Cost: %0.15f\n", i, f1)
			}

			numerator := (df2.Dot(df2) - df1.Dot(df2)) / df1.Dot(df1)
			s, _ = s.Scale(numerator).Sub(df2)

			tmp := df1
			df1 = df2
			df2 = tmp

			d2 = df1.Dot(s)

			if d2 > 0 {
				s = df1.Scale(-1.0)
				d2 = s.Scale(-1.0).Dot(s)
			}

			//z1 = z1 * math.Min(_RATIO, d1/(d2-math.SmallestNonzeroFloat64))
			z1 = z1 * math.Min(_RATIO, d1/(d2-1e-15))
			d1 = d2
			lsFailed = 0
		} else {
			theta = theta0
			f1 = f0
			df1 = df0

			if lsFailed == 1 || float64(i) > math.Abs(float64(length)) {
				break
			}

			tmp := df1
			df1 = df2
			df2 = tmp
			s = df1.Scale(-1.0)
			z1 = 1.0 / (1.0 - d1)
			lsFailed = 1
		}
	}

	return theta
}