作者：admin 发布时间：2024-02-23 23:30 分类：资讯 浏览：30 评论：0
变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。
变压器（Transformer）是利用电磁感应的原理来改变交流电压的装置，主要构件是初级线圈、次级线圈和铁芯（磁芯）。主要功能有：电压变换、电流变换、阻抗变换、隔离、稳压（磁饱和变压器）等。
PT（Potential Transformer，电压互感器）和变压器（Transformer）是两种不同的设备，用途和工作原理也有所不同。 用途：- PT（电压互感器）：PT主要用于电力系统中测量和保护装置的电压信号变换和传递。
Transformer是一种基于注意力机制的深度学习模型，用于处理序列数据。CNN是卷积神经网络的简称，也用于处理序列数据，但是机制不同。
BERT Transformer 使用双向self-attention，而GPT Transformer 使用受限制的self-attention，其中每个token只能处理其左侧的上下文。
Transformer 感知算法更加和稳定成熟后，逐步替换基于 CNN 的感知算法。Transformer 技术的进一步应用，不仅为毫末智行在各条智能驾驶产品线上的视觉算法落地带来成倍的效率提升，还能够让各项视觉性能指标快速达到业内领先水平。
Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化。
规模大的简单算法是深度学习的核心。在NLP中，简单的自我监督学习方法能够从模型的规模中获益。在计算机视觉中，实用的预训练范例主要是监督式的。在这项研究中，自我监督学习已经取得了进展。
语音识别常用的解码方法有贪心搜索（Greedy Search）算法、集束搜索（Beam Search）算法以及维特比（Viterbi）算法。贪心搜索算法 是一种相对简单和直观的解码方法。
语音解码是将模型输出的概率分布转化为具体的文字或词汇，而搜索算法则是在一个可能的词汇空间中找出最可能的词汇序列。
语音识别的过程和方法具体如下：语音识别过程 语音信号采集 语音信号采集是语音信号处理的前提。语音通常通过话筒输入计算机。
所谓语音识别，就是将一段语音信号转换成相对应的文本信息，系统主要包含特征提取、声学模型，语言模型以及字典与解码四大部分，其中为了更有效地提取特征往往还需要对所采集到的声音信号进行滤波、分帧等预处理工作。
基于 Transformer 的感知算法表现出了极强的泛化性和鲁棒性，也因此顾维灏坚定认为，Transformer 的优秀特性极有可能在智能驾驶的场景中发挥出传统 CNN 算法所不能企及的感知能力。
在成本＆速度方面，毫末智行CEO顾维灏提到，标注与验证是自动驾驶最高的两大成本来源，而通过自动标注技术的应用，MANA的标注成本将比采用人工标注为主的方式降低80%；此外同样借助与阿里的合作，MANA也成功将验证成本下降了62%。
观察道路理解正在发生的一切，推演并选择合适路线前行，是所有驾驶者习以为常的事情，也是重感知、轻地图技术方向下，自动驾驶必须达成的目标。而这，恰好也是生成式预训练 Transformer 模型（GPT）的长项。
在自动驾驶领域，毫末在国内最早将Transformer大模型引入到数据智能体系MANA当中。
对此，顾维灏发表了自己的观点。他认为，L2级辅助驾驶与L3级自动驾驶的主要区别在于对责任主体的划分；对于用户而言，后者更在意的更多是产品体验。
GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
在这一讲中，地平线工具链核心开发者杨志刚以《基于征程5芯片的Transformer量化部署实践与经验》为主题进行了直播讲解。
基于此，地平线多年前起针对神经网络、整Transformer架构等进行了创新设计，打造了计算规模大、计算架构最先进的征程5芯片。该芯片在去年上市的理想L8pro上应用，进一步推动了国产NOA的发展。
地平线征程5芯片是基于最新第三代BPU贝叶斯架构设计的，可以高效地支持Transformer的计算，在Swin Transformer、DETR等算法上，计算效率都很高。
在上个月，基于地平线征程5的理想AD Pro，正式完成了高速NOA的推送。也就是说，没有搭载激光雷达的理想L8，也可以拥有高速区间的领航式驾驶辅助功能。需要特别注意的是，理想L8搭载的是一个国产芯片，而且只有一颗。
DETR基本上是物体检测方面的最佳实践，是新加入征程5工具链的Transformer模型 ，利用Transformer在时序上将检测和跟踪进行融合计算。
年1月，小马智行推出高速NOA及城区NOA解决方案，并支持定制化需求。基于单颗征程5芯片，小马智行用低至6个摄像头和1个毫米波雷达，有效落地其自研的BEV感知算法大模型，用导航地图实现高速NOA功能。
1、被动注意——基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关；可以将max-pooling和门控（gating）机制来近似地看作是自下而上的基于显著性的注意力机制。
2、接着attention机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。
3、因为注意力模型不像RNN那样无视了各输入之间的距离，因此是无法捕捉到序列顺序信息的，例如将K、V按行进行打乱，Attention之后的结果是一样的。
4、注意力稳定性不够的话就会出现注意游离，老师上课讲的内容没有完整连贯地听进去，继而感到更加无聊。所以就会出现一些小动作、发呆的外在表现。
