Transfer learning Deepspeech 0.6 checkpoint

Common Voice Français (fr)
#1

J’essaye de réaliser du transfer learning à partir du checkpoint du modèle anglais de la version 6 en enlevant des couches.

Mais j’arrive pas le charger manuellement correctement du moins il me manque des variables.
current_loss_scale
good_steps
cond_1/beta1_power
cond_1/beta2_power
Et sur d’autre le type ne colle pas.
layer_5/weights
layer_5/weights/Adam_1

Du coup j’ai aucune idée sur les variables qui sont obligatoires et celle que je peux mettre par defaut pour charger un modèle manuellement en enlevant des couches.

#2

Question bête, mais ce travail a déjà été réalisé dans une branche (pas encore mergée) (et un peu pas à jour), tu as regardé ?

#3

Oui je suis partie de la
Celle d’artie-inc dans les pull request


Je l’ai merge sur la 0.6.0 en suivant les préconisation de reuben.

Mais elle fonctionne pas j’ai l’impression qu’elle est pensé pour un model sans cudnn.
D’où ma tentative de charger le model en me basant sur le code du flag cudnn_checkpoint qui convertie le model.

#4

Oui, elle est vieille :confused:

À mon avis ça serait plus simple que tu te manifestes sur la PR, soit pour que @josh_meyer mette à jour, soit pour aider :slight_smile:

Tu fais ça en repartant de leur PR ?

#5

Je vais faire des tentatives sur un checkpoint de la 0.5 pour voire les différences.
Et je vais remonter tous ça sur la PR.
Sinon je vais chercher plus en detail sur la doc de tensorflow pour charger manuellement sans utiliser le restore du saver.