Training Vietnamese model

noor_e_emaan11 · May 15, 2019, 9:18am

That my trained model gives me only one word for all files. Either I checked it on train files or test files.

noor_e_emaan11 · May 15, 2019, 9:24am

When I trained on a very small corpus, almost 6 files, it learned only one word, though that word doesn’t belong to any set of data. and it gives the same word if I tried to decode either on train file or test file.

and When I tried on almost 100 hours, it doesn’t give any single word in the results.
Epochs: 20, with early stop = TRUE
Learning rate: 0.0001

Why is it so ?

kdavis · May 15, 2019, 9:41am

What happens if you run run-ldc93s1.sh as follows:

(.virtualenv) kdavis-19htdh:DeepSpeech kdavis$ ./bin/run-ldc93s1.sh

noor_e_emaan11 · May 15, 2019, 12:45pm

WER: 1.000000, CER: 48.000000, loss: 27.773754

src: “she had your dark suit in greasy wash water all year”
res: “edted”
This is the result of ldc93s1.

kdavis · May 15, 2019, 1:51pm

I’m not sure how but your install is very broken. This is basically a “smoke test” that every one of our PR’s has to pass.

If I were you, I’d check everything out from scratch and follow the README instructions again.

noor_e_emaan11 · May 16, 2019, 4:49am

Are we suppose to train the model while activating the virtual environment ?

kdavis · May 16, 2019, 5:04am

It’s recommended that you use a virtual environment.

noor_e_emaan11 · May 16, 2019, 7:26am

I followed the github guideline throughout and working on 0.4.1 master.
I also got the exported model with best validation loss.

Installation:
Linux: 16.04 LTS
CUDA 9.0
CUDNN= 7.1.3
Python 3.6.3
DeepSpeech 0.4.1 master
requirements.txt installed. but Tensorflow-gpu ==1.12.0
Installed LFS from the link given on github
Bazel 0.5.1
Downloaded and checked the pre-trained model from Common voice utterances and results are almost 99%
install CTC
Data prepared in CSV format.
Build the native client
have language model prepared from KenLM, generate trie file.

There is no error I got in training and got the .pb model in the end and also results gave me WER though it doesn’t have anything in decoded output.

Please let me know where I am doing wrong,
Thank you for all the help.

kdavis · May 16, 2019, 8:55am

There are many steps here and a problem can creep in anywhere.

To help in debugging can you supply the final training log?

noor_e_emaan11 · October 24, 2019, 2:16pm

log.zip (106.9 KB)

Here it is.

kdavis · May 17, 2019, 5:02am

Don’t know if it’s the encoding, but the log looks like line noise.

noor_e_emaan11 · May 17, 2019, 5:15am

the data is in utf-8 and I believe, DeepSpeech support it. Isn’t ?
If I trained on 5-6 files, I got one word decode, but if I trained on a big corpus of 100 hours, nothing decoded.
Thank you so much.

kdavis · May 17, 2019, 5:56am

When I open unzip log.zip and open events.out.tfevents.1557923145.Hafsa it looks like this…

noor_e_emaan11 · May 17, 2019, 6:02am

kdavis · May 17, 2019, 6:05am

I asked for the log, what’s printed out as training runs.

noor_e_emaan11 · May 17, 2019, 6:09am

I will share my next iteration result, which has short utterances.
I believe, if one doesn’t have a lot of data (like thousands of hours), it wouldn’t work on long utterances. Isn’t ?

noor_e_emaan11 · May 17, 2019, 6:10am

kdavis · May 17, 2019, 6:25am

Is it possible to show the entire log? Including the command that’s running?

noor_e_emaan11 · May 17, 2019, 6:34am

Its from another iteration, but you can see the command.

noor_e_emaan11 · May 17, 2019, 6:37am

python3 DeepSpeech.py --train_files /home/rc/Desktop/0.4.1/DeepSpeech-master/Urdu/train.csv --dev_files /home/rc/Desktop/0.4.1/DeepSpeech-master/Urdu/dev.csv --test_files /home/rc/Desktop/0.4.1/DeepSpeech-master/Urdu/test.csv
Preprocessing [’/home/rc/Desktop/0.4.1/DeepSpeech-master/Urdu/train.csv’]
Preprocessing done
Preprocessing [’/home/rc/Desktop/0.4.1/DeepSpeech-master/Urdu/dev.csv’]
Preprocessing done
I STARTING Optimization
I Training epoch 0…
I Training of Epoch 0 - loss: 556.158447
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:15 Time: 0:01:15
I Validating epoch 0…
I Validation of Epoch 0 - loss: 441.805054
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:09 Time: 0:00:09
I Training epoch 1…
I Training of Epoch 1 - loss: 253.358310
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:01 Time: 0:01:01
I Validating epoch 1…
I Validation of Epoch 1 - loss: 344.886566
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:16 Time: 0:00:16
I Training epoch 2…
I Training of Epoch 2 - loss: 267.624881
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:01 Time: 0:01:01
I Validating epoch 2…
I Validation of Epoch 2 - loss: 309.133759
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:11 Time: 0:00:11
I Training epoch 3…
I Training of Epoch 3 - loss: 244.346558
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:06 Time: 0:01:06
I Validating epoch 3…
I Validation of Epoch 3 - loss: 303.824341
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:11 Time: 0:00:11
I Training epoch 4…
I Training of Epoch 4 - loss: 222.930798
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:07 Time: 0:01:07
I Validating epoch 4…
I Validation of Epoch 4 - loss: 294.534973
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:11 Time: 0:00:11
I Training epoch 5…
I Training of Epoch 5 - loss: 224.331677
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:07 Time: 0:01:07
I Validating epoch 5…
I Validation of Epoch 5 - loss: 283.199036
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:11 Time: 0:00:11
I Training epoch 6…
I Training of Epoch 6 - loss: 213.346033
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:12 Time: 0:01:12
I Validating epoch 6…
I Validation of Epoch 6 - loss: 279.630066
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:11 Time: 0:00:11
I Training epoch 7…
I Training of Epoch 7 - loss: 212.999857
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:11 Time: 0:01:11
I Validating epoch 7…
I Validation of Epoch 7 - loss: 274.223053
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:11 Time: 0:00:11
I Training epoch 8…
I Training of Epoch 8 - loss: 206.666562
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:08 Time: 0:01:08
I Validating epoch 8…
I Validation of Epoch 8 - loss: 272.326324
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:12 Time: 0:00:12
I Training epoch 9…
I Training of Epoch 9 - loss: 204.394440
100% (5 of 5) |#######################################################################################################################################################| Elapsed Time: 0:01:13 Time: 0:01:13
I Validating epoch 9…
I Validation of Epoch 9 - loss: 272.931549
I FINISHED Optimization - training time: 0:13:23
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:00 Time: 0:00:00
Preprocessing [’/home/rc/Desktop/0.4.1/DeepSpeech-master/Urdu/test.csv’]
Preprocessing done
Computing acoustic model predictions…
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:04 Time: 0:00:04
Decoding predictions…
100% (1 of 1) |#######################################################################################################################################################| Elapsed Time: 0:00:01 Time: 0:00:01
Test - WER: 1.000000, CER: 89.000000, loss: 299.336792

WER: 1.000000, CER: 89.000000, loss: 299.336792

src: “نیلم نے سالگرہ پر ہیڈ سیسموگراف اسود قریشی کے ماتھے پر اینٹھن اور غم کی آتشیں رو محسوس کی”
res: “”

I Exporting the model…
I Models exported at /home/rc/Desktop/0.4.1/DeepSpeech-master/exporth