This isn't precisely an ADMB topic, but it seems as though ADMB users might be knowledgeable in this regard.<div><br></div><div>I've searched the archives and haven't found a lot of discussion regarding model selection in nonlinear mixed models. For a given dataset, I have a series of models which differ in combinations of structure, number of effects considered random, and assumed distribution of random effect components, and would like some (preferably likelihood-based) method to rank them. Burnham and Anderson (Model Selection and Multimodel Inference, 2002, page 310) describe a method based on shrinkage estimators where the penalty term is computed somewhere between 1 and the number of random components, but this appears to require both a single random effect and a fit of the model where each random component is considered a parameter; neither of these is feasible with my models (or, I suspect, many others). I can't simply use LRTs to decide between a mixed model and its fixed counterpart, because the value of interest for the sigma parameter lies on the boundary of its space, 0.</div>
<div><br></div><div>I have found some instances where the problem is basically ignored (Hall, D.B. and Clutter, M. 2004. Multivariate multilevel nonlinear mixed effects models for timer yield predictions. Biometrics, 60:16-24). To quote: "...the first-order approximate log likelihood is treated as the true log likelihood, and standard errors for parameter estimates, likelihood ratio tests for nested models, and model selection criteria such as AIC and BIC are formed in the usual way. Although the formal justification of this “approximately asymptotic” approach to inference is an open problem, it is commonly used in practice, and we adopt it for our purposes in this article."</div>


<div><br></div><div>One simple method would be to choose the model that best reconstructs the original data as measured by the chi-squared test statistic sum((O-E)^2/E), but again, it would be nice to have something likelihood-based such that the framework is a cohesive, and the principle of parsimony is in effect.</div>


<div><br></div><div>One additional question: these models also may include covariates.  Holding all other model features of a mixed-model constant, LRTs should be justified for model selection of covariates only, as they result from a mathematical restriction of some beta=0, correct? I see plenty of information about the LASSO for covariate selection in NLMMs, but haven't yet found the time to learn this technique.</div>

<div><br></div><div>I would appreciate any and all thoughts or opinions.</div>
<div><br></div><div>Thanks,</div><div><br></div><div>Chris Gast</div><div>University of Washington</div><div>Quantitative Ecology and Resource Management</div><div><a href="mailto:cmgast@gmail.com" target="_blank">cmgast@gmail.com</a></div>