无线网络智能接入控制技术探讨 本文关键词：无线网络，接入，探讨，控制，智能
无线网络智能接入控制技术探讨 本文简介：随着信息技术的不断发展，无线网络得到了非常广泛的应用，为人们的工作和生活带来了极大的便利。但是无线网络中存在大量的复杂异构网络，并且具有时空动态变化的特点，这就给传统的无线网络接入技术造成了不小的困难，限制了无线网络的有效接入，这就会给用户接入体验带来较差的影响。因此，为了提高无线网络的接入质量，通
无线网络智能接入控制技术探讨 本文内容：
随着信息技术的不断发展，无线网络得到了非常广泛的应用，为人们的工作和生活带来了极大的便利。但是无线网络中存在大量的复杂异构网络，并且具有时空动态变化的特点，这就给传统的无线网络接入技术造成了不小的困难，限制了无线网络的有效接入，这就会给用户接入体验带来较差的影响。因此，为了提高无线网络的接入质量，通过将强化学习的接入控制技术有效的运用于无线网络的接入控制中，能够在一定程度上提高无线网络的接入质量，对于从事相关工作的技术人员具有一定的借鉴意义。
随着科学技术的不断发展，无线网络获得了非常广泛的应用，尤其是复杂异构网络能够适用于不同场景，例如连续广域覆盖、热点高容量以及高可靠低延时等，但是由于用户终端性能和业务的需求不尽相同，不同用户在不同场景中的体验不尽相同。在当前的无线网络中，主要有2G、3G、4G、5G以及Wi-Fi等，不同类型的无线网络所采用的接入技术不尽相同。同时，随着无线网络用户数量的逐渐增加，这就需要对网络容量进行更进一步的扩充。为了满足不同用户连接无线网络的需求，往往就会在传统的站点上增设蜂窝和终端直通类似的应用站点，这就会导致无线网络发生一定程度的重叠。随着无线网络用户的逐渐增加，其密度也会随着增加，这就会进一步增加不同无线网络之间的发生干扰的概率，进而降低用户的连接体验。在无线网络传统的连接过程中，所采用的接入技术主要是建立在网络-频谱的基础之上，通过对无线网络的接入点进行科学合理的分配，进而确保设备能够顺利的接入到无线网络中。但是在无线网络实际的接入过程中，由于在无线网络中存在一定数量的异构网络，而用户接入异构网络往往是一种随机行为，进而会造成不同网络的连接数量之间存在较大的差别，这就会严重影响用户连接无线网络的体验。当前，传统的无线网络“网络-频谱”连接形式所能提供的连接点数量非常有限，已经无法满足不断增加的连接需求，这就会严重影响无线网络连接能力的有效发挥，进而给用户带来了较差的连接体验。为了改善用户在无线网络连接过程中的体验，就必须打破传统的无线资源管理和服务接入控制的僵化机制，通过将强化学习的接入技术有效运用于无线网络的接入过程中，进而能够在一定程度上提高无线网络的连接质量。
1强化学习在无线网络中的应用
强化学习是一种能够在非确定环境下做出符合发展变化要求决策的一种工具，通过将其有效的运用于异构网络的接入控制过程中，能够根据网络的动态性进行有针对性的调整变化，进而能够智能的协调用户与基站之间的关系。
1.1强化学习的分类
（1）根据强化算法与模型之间的依赖关系可以将强化算法分为基于模型的强化算法和无模型的强化算法，其中，前者通过利用与环境交互而形成的数据学习系统对数据进行科学合理的分析，再根据模型做出相应的决策；而后者则直接根据与环境交互而形成的数据分析结果，对自身的行为进行科学合理的调整。在实际的应用过程中，这两种算法各有自身的优势，通常来说基于模型的算法效率相对较高，这是由于智能体能够对环境中的各种信息进行系统全面的分析利用；但是并不是所有的任务都能建立相应的模型，因此，只能采用无模型的强化算法，后者具有更加广泛的通用性。（2）根据策略更新和学习方法的不同，强化学习算法又可以细分为基于值函数的强化学习算法、基于直接策略搜索的强化学习算法以及Actor-Critic（AC）的方法。其中，基于值函数主要是指学习值函数，并通过值函数的贪婪得到相应的控制策略，即在任意的状态下，值函数的最大动作表征为最优策略。基于AC的强化学习算法在实施过程中，主要是将前两种算法进行有机结合，进而得到最优的处理结果。（3）强化学习算法根据环境所反馈的回报函数是否已知的不同，能够进一步细分为正向和逆向强化学习算法。其中，正向强化学习是指在实际的学习过程中，所选用的回报函数经过了人为指定，在进行学习之前已经知道。但是在较多的情况下回报函数往往无法进行人为指定，这就需要通过逆向强化学习，由函数自身进行相应的学习进而得到相应的回报函数。
1.2强化学习在无线网络中的应用
无线网络连接中的频谱资源是有限的，而随着无线网络连接用户数量的不断增加，为了能够有效的接入到无线网络中，不同的用户之间就要进行激烈的连接竞争，主要在竞争中获得优胜才能有效的接入到无线网络中，这就会导致无线网络的连接状况变差，严重影响用户的连接体验。同时，无线网络在连接过程中的状态不是一成不变的，而是会发生连续性或离散性的不断变化，通过将无线网络的连接过程进行相应的建模，进而对无线网络的整个连接过程进行系统全面的有效模拟学习。其中，建立的连续时间MDP模型要求无线网络的整个连接过程能够比较快速的完成，同时，还要完成在线学习过程。通俗的讲，普通强化学习是在MDP建模的基础上发展而来的，其能够解决的主要问题是序贯博弈，在实际的应用过程中要予以充分的重视。
2强化学习的无线网络智能化接入控制技术
2.1基于毫米波技术的智能切换技术
（1）强化学习的奖励函数设计在无线网络的接入控制过程中，由于奖励函数与切换次数之间具有紧密的关系，导致其在实际运用过程中的反映难度较大。因此，通过对奖励函数进行相应的改善，进而达到最小化Hn的目的。所建立的奖励函数如下所示：上述函数所包含的物理意义主要是，当用户（UE）n选择切换至基站（BS）k，在发生下次切换的这段时间内所传数据的总量。（2）估计期望收益对于服务类型相同的UE而言，可以采用同一类型的回报函数，将其表示为，其中，Cn类中每个UE的采用共同更新类回报函数。在实际更新过程中的定义如下所示：上式中的表示当前BSk被服务类型为Cn的用户所选中的次数。通过采用类回报函数用来表征服务类型为Cn用户的回报函数值，这就能够从一定程度上避免单个用户无法及时对的相关问题进行更新。（3）基站选择策略根据强化学习中探索和利用的相关定理，在无线网络的接入控制过程中，不得总是选择当前回报函数期望值最大的基站进行切换。为了能够对强化学习过程中形成策略的优劣进行科学合理的衡量，则可以借助Regret来进行实现，其中Regret能够表征所采取的策略与最优策略之间的差距。将UEn在策略π的要求下进行W次切换处理，所得到的Regret结果表示如下式所示：上式中的表示按照最优无线网络接入策略π在某一时刻所能获得的回报，根据计算可以得到最优的Regret结果是关于切换W次数呈对数数量级的。算法UCB已经被证明：无论何种形式的reward函数都可以实现对数量级的Regret。在UCB算法中的策略选择方式为：agent每次选择机器j，而j的计算公式如下所示：上式中的表示机器j所获得的平均回报值，Wj表示当前机器j被选中的次数，而W表示目前为止总的执行决策的次数。
2.2Multi-RAT智能接入技术
为了能够在复杂和动态的无线网络环境中获得最优化的系统吞吐量，同时还能满足用户的QoS需求，通过将强化学习的Multi-RAT智能接入技术有效运用于无线网络的接入控制过程中，进而能够对实际的网络环境进行动态的感知，从而为用户进行有针对性的信道资源分配，其具体的实施过程如下所示。多无线电的整个接入过程具体表现为一个多主体的随机过程，在这个环境中，能够对其他主体所做出决策的回报值进行有效的观测。基于该多主体的随机过程和两层决策框架，无线电/信道选择过程（RSP）和资源分配过程（RAP）中分别存在着同时博弈和序贯博弈的过程。在第1阶段RSP的整个过程，其主要的工作目的是避免碰撞和乱序情况的发生，进而能够对决策空间进行科学合理的压缩；随着强化学习算法的不断收敛就进入到第2阶段RAP过程，该阶段是在有限的网络资源和多样的用户喜好条件下，利用非常有限的信道资源为不同的用户提供有针对性的服务，并且使得系统平均吞吐量最大化。
3结语
总而言之，随着信息技术的不断发展，无线网络得到了非常广泛的应用，为人们的工作和学习带来了极大的便利。但是在无线网络实际的应用过程中，其资源非常有限，而需要进行接入的用户数量较多，为了能够对无线网络资源进行充分的利用，满足不同用户的接入需求。通过将强化学习的智能接入技术有效运用于无线网络的连接过程中，这就有利于对有限的无线网络资源进行统筹规划、合理利用，进而在一定程度上提升无线网络的性能，满足不同用户的连接需求，从而不断提高无线网络的连接质量，为用户提供更加优质的服务。
作者：龚啸
无线网络智能接入控制技术探讨 来源：网络整理
免责声明：本文仅限学习分享，如产生版权问题，请联系我们及时删除。
相关文章