Skip to content
GitLab
Explorer
Connexion
S'inscrire
Navigation principale
Rechercher ou aller à…
Projet
S
SC2710
Gestion
Activité
Membres
Labels
Programmation
Tickets
Tableaux des tickets
Jalons
Wiki
Code
Requêtes de fusion
Dépôt
Branches
Validations
Étiquettes
Graphe du dépôt
Comparer les révisions
Extraits de code
Compilation
Pipelines
Jobs
Planifications de pipeline
Artéfacts
Déploiement
Releases
Registre de paquets
Registre de conteneur
Registre de modèles
Opération
Environnements
Modules Terraform
Surveillance
Incidents
Analyse
Données d'analyse des chaînes de valeur
Analyse des contributeurs
Données d'analyse CI/CD
Données d'analyse du dépôt
Expériences du modèle
Aide
Aide
Support
Documentation de GitLab
Comparer les forfaits GitLab
Forum de la communauté
Contribuer à GitLab
Donner votre avis
Conditions générales et politique de confidentialité
Raccourcis clavier
?
Extraits de code
Groupes
Projets
Afficher davantage de fils d'Ariane
Jordan Hanotiaux
SC2710
Validations
a101ebdd
Valider
a101ebdd
rédigé
Il y a 1 mois
par
JordanHanotiaux
Parcourir les fichiers
Options
Téléchargements
Correctifs
Plain Diff
update
parent
84e5bc64
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
Modifications
2
Masquer les modifications d'espaces
En ligne
Côte à côte
Affichage de
2 fichiers modifiés
P2/distributedmatrix.cpp
+7
-11
7 ajouts, 11 suppressions
P2/distributedmatrix.cpp
P2/distributedtests.cpp
+58
-1
58 ajouts, 1 suppression
P2/distributedtests.cpp
avec
65 ajouts
et
12 suppressions
P2/distributedmatrix.cpp
+
7
−
11
Voir le fichier @
a101ebdd
...
...
@@ -216,20 +216,9 @@ DistributedMatrix multiply(const Matrix& left, const DistributedMatrix& right) {
Matrix
DistributedMatrix
::
multiplyTransposed
(
const
DistributedMatrix
&
other
)
const
{
Matrix
result
=
(
*
this
).
localData
*
other
.
getLocalData
().
transpose
();
int
localSize
=
result
.
numRows
()
*
result
.
numCols
();
std
::
vector
<
int
>
counts
(
numProcesses
);
std
::
vector
<
int
>
displacements
(
numProcesses
);
MPI_Allgather
(
&
localSize
,
1
,
MPI_INT
,
counts
.
data
(),
1
,
MPI_INT
,
MPI_COMM_WORLD
);
displacements
[
0
]
=
0
;
for
(
int
i
=
1
;
i
<
numProcesses
;
++
i
)
displacements
[
i
]
=
displacements
[
i
-
1
]
+
counts
[
i
-
1
];
std
::
vector
<
double
>
buffer
(
this
->
globalRows
*
other
.
globalRows
);
MPI_Allreduce
(
result
.
getData
().
data
(),
buffer
.
data
(),
...
...
@@ -250,6 +239,13 @@ Matrix DistributedMatrix::multiplyTransposed(const DistributedMatrix &other) con
return
fullMatrix
;
}
void
sync_matrix
(
Matrix
*
matrix
,
int
rank
,
int
src
)
{
// Diffuse la matrice de manière synchrone du processus `src` vers tous les autres processus.
MPI_Bcast
(
matrix
->
getData
().
data
(),
matrix
->
numRows
()
*
matrix
->
numCols
(),
MPI_DOUBLE
,
src
,
MPI_COMM_WORLD
);
}
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
P2/distributedtests.cpp
+
58
−
1
Voir le fichier @
a101ebdd
...
...
@@ -430,6 +430,63 @@ void testMultiplyTransposed() {
}
}
void
test_distributed_mlp_training
()
{
int
rank
,
size
;
MPI_Comm_rank
(
MPI_COMM_WORLD
,
&
rank
);
MPI_Comm_size
(
MPI_COMM_WORLD
,
&
size
);
// Print info about the MPI environment
if
(
rank
==
0
)
{
std
::
cout
<<
"Running with "
<<
size
<<
" MPI processes."
<<
std
::
endl
;
}
// Create a simple XOR dataset
// Create data
Matrix
X
(
3
,
4
);
Matrix
Y
(
1
,
4
);
// 0
X
.
set
(
0
,
0
,
0.0
);
X
.
set
(
1
,
0
,
0.0
);
X
.
set
(
2
,
0
,
1.0
);
Y
.
set
(
0
,
0
,
0.0
);
// 1
X
.
set
(
0
,
1
,
0.0
);
X
.
set
(
1
,
1
,
1.0
);
X
.
set
(
2
,
1
,
1.0
);
Y
.
set
(
0
,
1
,
1.0
);
// 2
X
.
set
(
0
,
2
,
1.0
);
X
.
set
(
1
,
2
,
0.0
);
X
.
set
(
2
,
2
,
1.0
);
Y
.
set
(
0
,
2
,
1.0
);
// 3
X
.
set
(
0
,
3
,
1.0
);
X
.
set
(
1
,
3
,
1.0
);
X
.
set
(
2
,
3
,
1.0
);
Y
.
set
(
0
,
3
,
0.0
);
// Distribute the data
Dataset
data
=
Dataset
(
DistributedMatrix
(
X
,
size
),
DistributedMatrix
(
Y
,
size
));
// Create and train the model
MLP
model
(
3
,
128
,
1
,
0.1
);
if
(
rank
==
0
)
{
std
::
cout
<<
"Training distributed MLP for XOR problem..."
<<
std
::
endl
;
}
model
.
train
(
data
,
5000
);
if
(
rank
==
0
)
{
std
::
cout
<<
"Distributed MLP training test completed."
<<
std
::
endl
;
}
}
int
main
(
int
argc
,
char
**
argv
)
{
// Initialize MPI
int
initialized
;
...
...
@@ -457,7 +514,7 @@ int main(int argc, char** argv) {
testGather
();
testGetAndSet
();
testCopyConstructor
();
//
test_distributed_mlp_training();
test_distributed_mlp_training
();
if
(
rank
==
0
)
{
std
::
cout
<<
"All tests passed successfully!"
<<
std
::
endl
;
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Aperçu
0%
Chargement en cours
Veuillez réessayer
ou
joindre un nouveau fichier
.
Annuler
You are about to add
0
people
to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Enregistrer le commentaire
Annuler
Veuillez vous
inscrire
ou vous
se connecter
pour commenter