一种基于Wi-Fi模组的智能电视机UI交互方法及系统

本发明公开了一种基于Wi‑Fi模组的智能电视机UI交互方法及系统，属于智能物联网技术领域。为解决现有智能电视语音交互仅支持固定指令识别且无法关联实时UI画面语义解析的问题，本发明以电视机Wi‑Fi模组为核心，采集原始语音指令与当前UI界面原始图像，生成缩略图后与语音数据经Wi‑Fi无线传输至远程服务器端；远程服务器端通过多模态UI解析大模型对语音文本与图像联合编码，生成带置信度的初始结果，置信度达标则直接下发，不达标则请求原始图像二次解析后下发；Wi‑Fi模组解析结果合成播放答复语音并执行UI控制指令。本发明依托Wi‑Fi模组传输高清UI图像并同步采集用户语音，通过远程大模型完成视觉语音联合语义理解，提升了智能电视机UI语音交互智能化水平。