0 | {--
 1 | Copyright (C) 2021  Joel Berkeley
 2 |
 3 | This program is free software: you can redistribute it and/or modify
 4 | it under the terms of the GNU Affero General Public License as published
 5 | by the Free Software Foundation, either version 3 of the License, or
 6 | (at your option) any later version.
 7 |
 8 | This program is distributed in the hope that it will be useful,
 9 | but WITHOUT ANY WARRANTY; without even the implied warranty of
10 | MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
11 | GNU Affero General Public License for more details.
12 |
13 | You should have received a copy of the GNU Affero General Public License
14 | along with this program.  If not, see <https://www.gnu.org/licenses/>.
15 | --}
16 | ||| Function optimizers.
17 | module Optimize
18 |
19 | import Tensor
20 |
21 | ||| An `Optimizer` finds the value, in a `Tensor`-valued feature space, which (approximately)
22 | ||| optimizes a scalar-valued function over that space.
23 | |||
24 | ||| @domain The type of the domain over which to find the optimal value.
25 | public export 0
26 | Optimizer : (0 domain : Type) -> Type
27 | Optimizer a = (a -> Tag $ Tensor [] F64) -> Tag a
28 |
29 | ||| Construct an `Optimizer` that implements grid search over a scalar feature space. Grid search
30 | ||| approximates the optimum by evaluating the objective over a finite, evenly-spaced grid.
31 | |||
32 | ||| **NOTE** This function is not yet implemented.
33 | |||
34 | ||| @density The density of the grid.
35 | ||| @lower The lower (inclusive) bound of the grid.
36 | ||| @upper The upper (exclusive) bound of the grid.
37 | export
38 | gridSearch : (density : Tensor [d] U32) ->
39 |              (lower : Tensor [d] F64) ->
40 |              (upper : Tensor [d] F64) ->
41 |              Optimizer $ Tensor [d] F64
42 |
43 | ||| The limited-memory BFGS (L-BFGS) optimization tactic, see
44 | |||
45 | ||| Nocedal, Jorge, Updating quasi-Newton matrices with limited storage.
46 | ||| Math. Comp. 35 (1980), no. 151, 773–782.
47 | |||
48 | ||| available at
49 | |||
50 | ||| https://www.ams.org/journals/mcom/1980-35-151/S0025-5718-1980-0572855-7/
51 | |||
52 | ||| **NOTE** This function is not yet implemented.
53 | |||
54 | ||| @initialPoints The points from which to start optimization.
55 | export
56 | lbfgs : (initialPoints : Tensor [n] F64) -> Optimizer $ Tensor [n] F64
57 |