Face au déploiement sans cesse croissant de Machine Type Devices (MTDs) et à l'omniprésence de l’Internet of things (IoT), la future sixième génération (6G) de systèmes de communication sans fil doit relever des défis sans précédent en termes de demandes d'efficacité spectrale supérieure et de connectivité massive. À cet égard, la technique Non-Orthogonal Multiple Access (NOMA) a été mise en avant comme une technologie émergente permettant de relever les défis susmentionnés. Dans cette thèse, nous étudions un scénario de Hybrid NOMA, dans lequel les MTDs sont divisés en différents groupes tout en leur attribuant des Resource Block (RB) orthogonaux, de sorte que les membres de chaque groupe partagent un RB donné pour transmettre leurs signaux de manière non orthogonale. Nous considérons principalement un réseau dense et étudions l'allocation des ressources pour les systèmes basés sur NOMA. Ce faisant, nous adoptons la théorie des jeux et les outils de Reinforcement Learning (RL) afin de modéliser commodément les comportements des appareils, les comportements des dispositifs. Ainsi, nous proposons des nouvelles approches basées sur le concept de Power-Domain NOMA (PD-NOMA) qui permettent de résoudre conjointement les problèmes de sélection de canaux et d'allocation de puissance entre les différents utilisateurs.