Accuracy of Deep Learning Echocardiographic View Classification in Patients with Congenital or Structural Heart Disease: Importance of Specific Datasets

Figure 1. Representative images of the included seventeen separate echocardiographic views. (1) = 
Parasternal long axis (PLAX) left ventricle, (2) = PLAX zoomed MV, (3) = PLAX RV inflow, (4) = 
Parasternal short axis (PSAX) focus on AV, (5) = PSAX papillary muscles, (6) = PSAX apex, (7) = 
PSAX zoomed AV, (8) = PSAX MV, (9) = Apical 4 chamber (A4C), (10) = A4C zoomed left ventricle, 
(11) = Apical 5 chamber, (12) = Apical 2 chamber (A2C), (13) = A2C zoomed left ventricle, (14) = 
Apical 3 chamber (A3C), (15) = A3C zoomed left ventricle, (16) = Subcostal 4 chamber, (17) = Su-
prasternal aortic arch. 
2.2. Convolutional Neural Networks 
The source code and model weights of the DNN trained with a general dataset were 
obtained from https://bitbucket.org/rahuldeo/echocv (accessed on 20 March 2021) and 
the training and validation methodology was previously published by Zhang et al. [12]. 
To summarize, a 13-layer convolutional neural network (VGG 13) was trained with im-
ages assigned an individual view label and five-fold cross-validation was used to assess 
accuracy. Because of a lack of images for some uncommon views in the C/SHD-cohort, 
we decided to use 17 instead of the original 23 different views. Additionally, for ease of 
comparison, we assessed single echocardiographic frames individually instead of aver-
aging accuracy across frames of the same image loop. 
For the DNN trained with a C/SHD-specific dataset, our echocardiographic dataset 
was split into a training/validation group (80%) and a test group (20%). Frames from pa-
tients of the test group were not used for model training to ensure the external validity of 
Figure 1.
Representative images of the included seventeen separate echocardiographic views.
(1) = Parasternal long axis (PLAX) left ventricle, (2) = PLAX zoomed MV, (3) = PLAX RV inflow,
(4) = Parasternal short axis (PSAX) focus on AV, (5) = PSAX papillary muscles, (6) = PSAX apex,
(7) = PSAX zoomed AV, (8) = PSAX MV, (9) = Apical 4 chamber (A4C), (10) = A4C zoomed left
ventricle, (11) = Apical 5 chamber, (12) = Apical 2 chamber (A2C), (13) = A2C zoomed left ventri-
cle, (14) = Apical 3 chamber (A3C), (15) = A3C zoomed left ventricle, (16) = Subcostal 4 chamber,
(17) = Suprasternal aortic arch.
During training image augmentation with random rotations (
±
10
◦
), width and height
shifts (10 and 5%, respectively) as well as shears and zoom (up to 10% and 5%, respectively)
were applied to the echocardiographic images at run-time. To this end a pre-trained VGG-
19 network implemented in Tensorflow/Keras was utilized as described before (
https:
//arxiv.org/abs/1409.1556
, accessed on 20 March 2021). For transfer learning weights
of the convolutional base were initially frozen and the model was trained for 50 epochs.
Subsequently weights from convolutional layer 3, block 4 upwards were unfrozen and the
model trained for an additional 80 epochs. This approach was chosen to protect previously
learned representations and to ensure the best possible accuracy while avoiding overfitting.
This was done by continuously inspecting training and validation accuracy/loss. The
model accuracy was quantified as the percentage of correctly classified frames. Training
and testing were performed on an Intel i9 platform with GPU support (Nvidia GX 2080Ti).

---

J. Clin. Med. 2022, 11, 690
5 of 11
Analyses were performed using RStudio Version 1.4.1717/R-package version 4.1.0. For
further information, see the Supplementary Materials.
2.3. Statistical Analysis
For the direct comparison of the different DNN’s accuracy, a contingency table of
correctly and incorrectly identified views was created and analyzed with the Chi-square
test with SPSS Version 27 (IBM Corporation, Somers, NY, USA). Statistical significance was
defined as a two-sided alpha level of 0.05 or less.