Software catalogs are useful,  but only a partial solution.  SISAM is working on a classification protocol for assessment methods that hopefully can help guide assessment practitioners towards the most appropriate tool for their situation.  Software validation (e.g. does it work correctly) is not too challenging.  The bigger challenges are performance testing under a range of data quality, data type, and time series contrast situations.  Perhaps that is what you intended under the topic of validation.   Another large challenge is development of "good practices" for use of any software system (e.g., under what conditions should one allow for changes in the degree of age-selectivity?).  I am hopeful that SISAM will attract papers to address these latter two challenges.  SISAM can also be a start of a global catalog and a springboard for development of a next generation, generalized assessment framework that will implement the good practices that have been developed.<div>
<br></div><div>Rick</div><div><br><br><div class="gmail_quote">On Fri, Apr 20, 2012 at 5:05 AM, Laurie Kell <span dir="ltr"><<a href="mailto:laurie.kell@iccat.int">laurie.kell@iccat.int</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
In ICCAT we have a software catalogue, which requires certain criteria<br>
to be fulfilled, if software are to be used in stock assessment.<br>
<br>
I would like those criteria to be reviewed so that we follow best<br>
practice. I know that software validation is a complex issue but  would<br>
like to ensure consistency and exchange of methods between<br>
organisations. For example if a method is in the NOAA Toolbox or is on<br>
the R CRAN repository shouldn´t we be able to use it in ICCAT.<br>
<br>
This will not take long (hopefully). All I am looking for is a quick<br>
review of our criteria and any appropriate criteria used elsewhere, that<br>
we would need to include if our software is to be used by others. Also<br>
suggestions of how to harmonise software validation in the future so<br>
that we can strengthen the support for stock assessment experts and<br>
develop an improved network of stock assessment developers. I would also<br>
like to suggest that a global repository of all stock assessment methods<br>
would be useful.<br>
<span class="HOEnZb"><font color="#888888"><br>
<br>
--<br>
Laurence Kell<br>
<br>
ICCAT Secretariat<br>
Population Dynamics Expert<br>
C/ Corazón de María, 8 - 6º<br>
28002 Madrid. Spain<br>
Tel:   (00 34) 91 4165600<br>
Fax:   (00 34) 91 5103710<br>
</font></span></blockquote></div><br></div>