Parameter estimation not possible for microsatellites and sequences

[elombaert]

Des problèmes sont rencontrés lors de l’estimation de paramètres pour les microsatelites et/ou séquences avec AbcRanger. Je n’ai pas identifié ces problèmes dans le cas des SNPs. Nous en avons discuté ce matin avec Arnaud.

J’ai du mal à identifier le problème car les symptômes changent d’une analyse à l’autre. Deux principales situations (sur des reftableRF.bin contenant plusieurs scénarios) :

• Possibilité d’effectuer l’estimation des paramètres sur un seul scénario. Et "Erreur de segmentation" pour tous les autres scénarios.
• Aucune estimation de paramètres possible, quel que soit le scénario. On a une "erreur de segmentation" pour la plupart des scénarios, mais il y en a toujours un qui donne alors un message d’erreur différent : "unsorted double linked list corrupted" ou "invalid size (unsorted)".

J'ai l'impression que le scénario qui est traité différemment (soit estimations possibles, soit message d'erreur différent) correspond au scénario du premier dataset du reftable.

Peut-être ce problème est-il lié à la lecture du reftableRF.bin et la mauvaise prise en compte des paramètres mutationnels. Ce problème avait été réglé pour la comparaison de scénarios, mais peut-être pas pour l’estimation des paramètres.

Voici quelques projets pour faire des tests :
HA_AN_LOU_v3_2020_1_27-1_TEST_ESTIM_PARAM_ABCRANGER.zip
Projet_Test1_2017_9_20-1.zip
Projet_Test5_2017_9_20-1.zip

[aestoup]

Yes: comme on en a discuté tu as pointé un bug important Eric. C'est specifique des datasets microsat et/ou sequences (cf. tout est ok en SNP) donc l'hypothese d'un pbl de lecture du reftableRF.bin est une excellente piste (cf. type de pbl réglé précédement pour la comparaison de scénarios, mais peut-être pas pour l’estimation des paramètres). Pour ajouter un element je pense que le pbl est la quand il y a plusieurs scenarios dans le reftableRF.bin (et que on veut estimer sur un d'entre eux) et n'est plus la quand on a les data sur un seul scenario dans le reftableRF.bin (et que estimation sur cette base). Ce qui serait logique car dans ce cas on a pas de "décalage de parametres" entres les particules dans le reftableRF.bin car on a tout le temps le meme nombre de paramètres (et meme si pbl de prise en compte en ecriture des parametres mutationels ca ne gene pas car partout pareil). Pour illustration, si mes souvenirs sont bon, pour notre exemple emblematique microsatellite "pygmés" on a bien un seul scenario simulé dans le reftableRF.bin utilisé pour l'estimation de paramètres.

[elombaert]

Juste pour compléter : je confirme que le reftableRF.bin semble tout à fait OK --> Aucun problème pour le lire avec le abcrf et les estimations de paramètres pour tous les scénarios marchent parfaitement avec ce package.

[aestoup]

Merci pour ce complement Eric. C'etait aussi mon sentiment (et ca confirme de vieux souvenirs).
Francois David tu peux voir cet issue #53 ASAP STP? Note: il est potentiellement "relié" a l'issue sur le fichier ...first_record.txt" (ou pas).
Ca permettra de faire des tests complets (inclu estimation parametres) sur microsat et sequences, avec et sans interface.
Avec tous ces indices ca doit bien te guider sur le code a modifier.
Tiens nous au jus STP

[fradav]

ça serait bien d'avoir les diyabc et abcranger pour faire la reftable et lancer l'analyse (qui plante, donc)

[elombaert]

J'ai utilisé pour la majorité de mes tests les versions suivantes :

• diyabc-linux-20200602-1532
• abcranger-linux-20200604-1731

[fradav]

les lignes de commandes je veux dire

[fradav]

Ok j'ai trouvé : c'était à la lecture de la reftable comme d'hab. Pour info, la différence avec abcrf c'est qu'on ne lit que les lignes du scénario choisis (abcrf lit tout, et filtre après).

[fradav]

Fixed in 89d6bfe
Binaries at https://github.com/diyabc/abcranger/releases/tag/1.16.1

[elombaert]

Nouveau programme testé : ça marche parfaitement !