hdiff output

r30162/OPTIM.tex 2017-01-21 10:42:12.701041825 +0000 r30161/OPTIM.tex 2017-01-21 10:42:12.937050273 +0000
1544: The activation function for the output layer is just the sum, so the1544: The activation function for the output layer is just the sum, so the
1545: bias potential here does nothing.1545: bias potential here does nothing.
1546: The outputs are normalised softmax probabilities and the1546: The outputs are normalised softmax probabilities and the
1547: L2 regularisation term (to prevent overfitting) is:1547: L2 regularisation term (to prevent overfitting) is:
1548: \begin{equation}1548: \begin{equation}
1549: E({\bf X};{\bf Z}) = -\sum_{d=1}^{N_{\rm data}} \ln p_{c(d)}({\bf X}) + \lambda {\bf X}^2,1549: E({\bf X};{\bf Z}) = -\sum_{d=1}^{N_{\rm data}} \ln p_{c(d)}({\bf X}) + \lambda {\bf X}^2,
1550: \end{equation}1550: \end{equation}
1551: where $c(d)$ is the class label for data point $d$ specified by the training set,1551: where $c(d)$ is the class label for data point $d$ specified by the training set,
1552: and $\lambda$ is a constant.1552: and $\lambda$ is a constant.
1553: The regularization is performed on all parameter degrees of freedom except for the bias nodes.1553: The regularization is performed on all parameter degrees of freedom except for the bias nodes.
1554: The number of variables is {\it hidden$\times$(in+out)+1}. There is another keyword1554: The number of variables is {\it hidden$\times$(in+out)+1. There is another keyword
1555: {\it MLP3}, which is exactly the same without the bias nodes.1555: {\it MLP3}, which is exactly the same without the bias nodes.
1556: 1556: 
1557: \item {\it MODE n1 n2\/}: specifies the eigenvector to be followed uphill in an eigenvector-following 1557: \item {\it MODE n1 n2\/}: specifies the eigenvector to be followed uphill in an eigenvector-following 
1558: transition state search,1558: transition state search,
1559: where 1 means the softest mode, 2 means the next softest, and so on.1559: where 1 means the softest mode, 2 means the next softest, and so on.
1560: Setting {\it n1\/} to 0 means that the softest mode is followed uphill at every step,1560: Setting {\it n1\/} to 0 means that the softest mode is followed uphill at every step,
1561: otherwise a maximum overlap criterion is used to determine the mode followed after the1561: otherwise a maximum overlap criterion is used to determine the mode followed after the
1562: first step. The sign of {\it n1\/} is used to determine the direction in which we1562: first step. The sign of {\it n1\/} is used to determine the direction in which we
1563: step along the eigenvector if we are starting from a stationary point. This provides a way1563: step along the eigenvector if we are starting from a stationary point. This provides a way
1564: to start transition state searches from minima along any of the eigendirections in1564: to start transition state searches from minima along any of the eigendirections in


legend
Lines Added 
Lines changed
 Lines Removed

hdiff - version: 2.1.0