元の名称記録: 瀚博半导体（上海）股份有限公司

根据本公开的实施例，提供了控制机械臂的方法、装置、设备和存储介质。该方法包括：接收针对机械臂的控制指令。通过解析控制指令，确定与机械臂待抓取的对象相关联的描述信息。基于描述信息对应的文本特征，确定图像内容中的多个候选区域的评价信息。基于评价信息，从多个候选对象中确定目标对象，并控制机械臂抓取目标对象。以此方式，本公开的实施例能够提高机械臂抓取对象的准确程度。

本公开提供了一种数字人视频生成方法、数字人生成模型的训练方法、装置及计算机设备，涉及人工智能技术领域，尤其涉及计算机视觉、视频生成和视频处理等领域，实现方案为：获取用户的文本输入信息；基于文本输入信息，生成混合输出流，其中包含自然语言文本以及嵌入在自然语言文本中的控制标志序列；将自然语言文本转换为对应的语音数据；基于控制标志序列，利用预设的多模态动作库构建数字人的全身姿态序列；获取数字人的参考图像；基于语音数据、全身姿态序列、自然语言文本、控制标志序列以及数字人的参考图像进行特征编码，以得到特征编码集合；将特征编码集合输入至预训练的数字人生成模型中，并获取所输出的包含数字人的视频。

本公开提供了一种基于决策状态机的机器人控制方法、装置及计算机设备，涉及机器人及计算机技术领域，尤其涉及人工智能、视觉语言大模型、智能体、机器人控制领域，方法包括：接收初始任务指令进入第一状态，确定执行指令的第一原子技能序列；响应于确定第一原子技能序列，进入第二状态，控制机器人执行指令；响应于确定机器人第一执行结果的失败次数大于或等于预设阈值，进入第三状态，将上下文信息提供给视觉语言大模型智能体以得到建议任务指令并转换为第二原子技能序列；响应于得到第二原子技能序列，进入第四状态，控制机器人执行建议任务指令以得到第二执行结果；响应于第二执行结果为成功，进入第五状态，能够有助于机器人高效执行任务。

根据本公开的实施例，提供了执行任务链的方法、装置、设备、介质和程序产品。该方法包括：响应于任务链中的第一任务被第一模块执行，确定第一评价信息，第一评价信息指示第一模块执行第一任务的不确定性；响应于第一评价信息满足第一条件，通过处理第一任务的输入，构建与输入对应的多个扰动样本；向第一模块提供多个扰动样本，以基于多个扰动样本的多个处理结果来确定第二评价信息；响应于第二评价信息满足第二条件，从任务链中先于第一任务被执行的至少一个在先任务中确定第二任务；以及触发第二模块重新执行第二任务。以此方式，本公开可以抑制不确定性在任务链中的级联扩散，降低了任务链的执行风险，且保证了任务链对应的执行结果的准确性。

本公开的实施例涉及一种数据处理的方法、计算单元、电子设备、存储介质和程序产品。该方法由计算单元执行，包括：获取待处理的第一数据，第一数据对应于权重矩阵；将第一数据解析为多个数据段，多个数据段包括多个第一数据分段和一个第二数据分段，多个第一数据分段对应于第一精度的浮点值；基于预设的对应关系，确定与多个第一数据分段对应的多个基值和与第二数据分段对应的缩放因子，多个基值对应于第二精度的浮点值，第二精度高于第一精度，其中多个基值与缩放因子的乘积对应于权重矩阵中的多个权重值；以及基于多个基值和缩放因子，执行权重矩阵与输入矩阵的乘法计算。以此方式，本公开实施例能够有效提升数据的解码和计算效率。

本发明提供一种软件HDL协同仿真系统中的时序同步方法，包括软件侧的时钟管理模块和DPI互斥锁模块；硬件侧的DUT模型；以及用于软件侧和硬件侧指令交互的DPI接口；所述方法包括：步骤S1：时钟管理模块访问DPI互斥锁模块，以获取DPI接口状态；步骤S2：当DPI接口状态为DPI接口空闲时，时钟管理模块获取前一次调用DPI接口的时间点和当前CPU时间点，计算得到软件侧的时间间隔；步骤S3：基于所述时间间隔确定DUT模型的仿真循环圈数；步骤S4：时钟管理模块调用DPI接口推进所述DUT模型的仿真循环圈数，重复步骤S1至S4直至所述协同仿真结束，以实现仿真时间域与软件侧的时序同步。

本公开提供了一种用于机器学习模型的多核异构系统、方法和介质，涉及人工智能领域，尤其涉及模型加速、模型训练等领域，实现方案为：由第一处理器执行：对输入的数据进行采样，对采样得到的样本数据进行分箱操作以获得相应的直方图，从直方图中选出热点区间，响应于接收到生成查找表的指令，基于直方图和热点区间来生成包括多个激活函数值和用于查找激活函数值的索引参数的查找表，并响应于确定已生成查找表而发出更新查找表的指令；由第二处理器执行：响应于接收到更新查找表的指令，利用由第一处理器生成的查找表来更新第二处理器中存储的查找表副本，并基于所存储的查找表副本来对输入的张量数据进行计算。

本公开的实施例涉及一种图像处理的方法、装置和介质。在此提出的方法包括：基于已构建的至少一个参考帧，确定场景描述信息，场景描述信息指示与至少一个参考帧对应的复杂度，运动复杂度指示与至少一个参考帧相关联的运动矢量信息，画面复杂度至少指示至少一个参考帧中的对象分布；基于场景描述信息和图像处理资源的使用状态，确定至少一项控制参数，至少一项控制参数包括以下至少一项：运动矢量的分辨率，深度信息的精度，精度指示深度信息的位宽；基于至少一项控制参数，确定至少一项插帧参数；以及基于至少一个参考帧中的目标参考帧和至少一项插帧参数，执行插值处理，以生成中间帧。以此方式，本公开的实施例可以有效提高生成中间帧的效率。

本公开的实施例涉及一种图像处理的方法、装置和介质。在此提出的方法包括：由图形处理单元，渲染虚拟场景，以确定目标帧的图像数据和运动矢量信息；由图形处理单元，将图像数据和运动矢量信息传输至数字信号处理器；由数字信号处理器，基于图像数据和运动矢量信息执行插帧运算，以构建中间帧；由数字信号处理器，经由硬件合成器直接访问的旁路缓存，将中间帧传输至硬件合成器，中间帧的传输独立于图形处理单元的与硬件合成器之间的交换链中的后缓冲区；以及经由硬件合成器，输出中间帧。以此方式，本公开的实施例可以有效提高插帧处理的效率。

本公开提供了一种数字人实时渲染方法、装置及计算机设备，涉及图像处理技术领域，尤其涉及实时渲染、数字人渲染等领域，实现方案为：采集终端的多个实时算力参数；将多个实时算力参数归一化为算力指标向量；根据算力指标向量确定终端的算力变化是否超过预设变化阈值；当终端的算力变化超过预设变化阈值时，将算力指标向量输入到已训练的强化学习模型，以确定数字人的目标渲染模式；将数字人的渲染模式由当前渲染模式切换至目标渲染模式。由此，能够提供一种实时评估可用算力、并动态调节数字人渲染层级的通用化渲染方案，以应对高帧率、低延迟、可扩展的渲染需求。

本公开的实施例涉及一种图像处理的方法、装置和介质。在此提出的方法包括：由图形处理单元生成第一参考帧、第二参考帧和与第一参考帧对应的运动矢量信息；由图形处理单元将运动矢量信息传输至数字信号处理器；数字信号处理器将运动矢量信息划分为多个分组；利用数字信号处理器的多个处理核并行处理多个分组，每个处理核被配置为：利用散射指令，将相应分组所指示的一组运动矢量写入到一组运动矢量在插值帧中的一组投影位置；以及利用收集指令，基于所写入的一组运动矢量，分别从第一参考帧和第二参考帧中读取源像素信息；由数字信号处理器融合源像素信息，以生成插值帧。以此方式，本公开的实施例可以有效提高插值帧的生成效率。

本公开的实施例涉及用于智能体的通信方法、装置、设备、介质和程序产品。在此提出的方法包括：确定与智能体系统中第一智能体相关联的通信链路的当前网络状态，智能体系统包括用于协同执行目标任务的多个智能体；通过融合当前网络状态、历史通信状态和任务状态，构建状态表示；由强化学习模型基于状态表示从多层级动作空间中确定第一通信策略；基于第一通信策略，经由通信链路执行第一智能体与智能体系统中的至少一个第二智能体的通信；基于奖励函数确定与第一通信策略对应的奖励信息，以根据奖励信息更新强化学习模型。以此方式，本公开的实施例能够提高智能体系统的通信决策的准确性，并提高通信效率和多个智能体的任务执行效率。

本公开提供了一种图像处理方法、装置及电子设备。该方法包括：在发送端处获得待传输的生成式视频，该生成式视频由机器生成；提取生成式视频的一个或多个语义特征，该一个或多个语义特征能够描述生成式视频的内容；将一个或多个语义特征映射为语义词元流；对语义词元流进行压缩以生成压缩后的语义词元流；在发送端处将压缩后的语义词元流传输至接收端；以及在接收端处将压缩后的语义词元流输入到视频生成模型以恢复生成式视频。由此，通过在发送端处将生成式视频表示为低维的语义词元流进行传输，并且在解码端处基于语义词元流来恢复生成式视频，从而实现低码率、高视觉质量的生成式视频传输。

本公开提供了一种图像处理方法、装置及电子设备。该方法包括：获取第一颜色空间下的输入图像；将第一颜色空间下的输入图像转换为在第二颜色空间下的输入图像；提取第一颜色空间下的输入图像的第一通道图像和第二颜色空间下的输入图像的第二通道图像；基于图像增强任务训练针对第一颜色空间的通道和第二颜色空间的通道的分支查找表；将第一通道图像和第二通道图像输入分支查找表，得到增强的第一通道图像和增强的第二通道图像；以及将增强的第一通道图像和增强的第二通道图像中进行通道融合，得到输入图像的增强图像。由此，通过查找表的方式能够降低端侧设备的算力需求，并且实现根据任务需求灵活融合针对多通道的多个分支查找表的输出图像。

本公开的实施例涉及一种解码图像的方法、装置和介质。在此提出的方法包括：通过解码接收到的码流，确定与码流中的拼接帧对应的补充增强信息；由图形处理单元，基于补充增强信息所指示的布局信息，从拼接帧的多个区域中分别提取色彩信息和经量化的运动信息，布局信息指示多个区域在拼接帧中的分布；由图形处理单元，基于补充增强信息中的量化参数信息，对经量化的运动信息进行反量化，以确定目标运动信息；以及利用图形处理单元和与图形处理单元连接的数字信号处理器，基于色彩信息和目标运动信息执行插帧运算，以构建中间帧。以此方式，本公开的实施例能够提高中间帧的构建效率。

本申请提供了一种用于智能体的多模态特征签名生成方法、设备及介质，该方法包括：S1，智能体在t时刻采集多模态感知数据，并对多模态感知数据进行特征提取，获得多模态特征；S2，将多模态特征映射到共享向量空间，获得多模态特征向量，每个模态特征向量的维度相同；S3，对多模态特征向量进行融合，获得融合状态向量；S4，对融合状态向量进行量化，获得经量化的融合状态向量；S5，通过哈希函数对多模态感知数据的元信息以及经量化的融合状态向量进行计算，生成t时刻的多模态特征签名。本申请技术方案能够为智能体在每个时刻的状态生成特征签名，支持快速查找和追踪历史状态，避免传输重复或冗余的数据。

本公开的实施例涉及一种用于数据处理的方法、电子设备、存储介质和程序产品。该方法包括：接收将计算单元的片上存储器中的目标数据写入到片外存储器的第一指令；经元数据生成组件，生成针对目标数据的元数据，并将元数据存储在片上存储器中，元数据描述与目标数据中的至少部分数据对应的一项或多项统计值；经由直接内存访问组件将目标数据写入到片外存储器；响应于接收到利用计算单元执行针对目标数据的目标处理的第二指令，从片上存储器中获取元数据，目标处理与一项或多项统计值中的目标统计值相关；以及利用计算单元，基于元数据中的目标统计值执行针对目标数据的目标处理。以此方式，本公开实施例能够提升数据处理效率。

本申请提供了一种多路图像渲染方法、设备及介质，所述多路图像的帧率相同且共用同一GPU，该方法包括：划分渲染资源时间，包括将渲染周期T分为m个时隙，m为多路图像对应的多个应用程序的总数；渲染多路图像的图像帧，包括依次针对每个应用程序循环执行以下步骤：从驱动程序获得令牌；若成功获得令牌，则采样鼠标的移动动作，并根据鼠标的移动动作在相应应用程序分配的时隙内渲染相应应用程序的图像帧；释放所述令牌。本申请技术方案能够有效避免传统时间切片调度导致的渲染时间拉长、输入和渲染不同步及队列堆积问题。

根据本公开的实施例，提供了处理请求的方法、装置、设备、介质和程序产品。该方法包括：响应于接收到会话请求，由调度单元分配权重服务节点和注意力服务节点；在预填充阶段，由权重服务节点，基于会话请求所对应的完整输入序列，生成与完整输入序列对应的键值缓存信息，其中与预填充阶段对应的注意力计算在权重服务节点处执行；向注意力服务节点传输键值缓存信息，以在注意力服务节点维护键值缓存信息；在解码阶段，由权重服务节点，确定新令牌的特征表示；由注意力服务节点基于键特征和值特征更新键值缓存信息，并基于查询特征确定新令牌的注意力信息；由权重服务节点基于注意力信息，解码得到新令牌。本公开有效提高了会话请求对应的处理效率。

本申请提供一种视频处理方法、装置、计算设备、介质及程序产品，属于视频处理领域。视频处理方法包括：对于待处理视频中的任一个待处理帧：基于该待处理帧的多个像素各自的运动状态信息，从多个像素中确定与该待处理帧对应的第一像素集和第二像素集；根据多个第一像素各自的运动矢量，确定多个第一像素分别在预测帧中的像素位置，以得到预测帧对应的第一预测像素集；基于待处理视频中位于该待处理帧之前的至少一个待处理帧分别对应的第二像素集，确定预测帧对应的第二预测像素集；以及基于第一预测像素集和第二预测像素集，生成预测帧。该方法可以改善视频渲染效果。