一种医疗大模型的推理与部署方法、装置、设备及介质

本申请公开了一种医疗大模型的推理与部署方法、装置、设备及介质，涉及人工智能领域，应用于推理节点，包括：基于待部署医疗大模型的输入模态、输出模态以及模型元数据构建模型结构化数据表，并从预设推理框架库中确定与大模型的模型类型相匹配的目标推理框架，以根据目标推理框架及模型结构化数据表生成相应的目标模型推理镜像；对目标模型推理镜像进行推理验证，并在验证通过后对推理验证过程进行封装，以得到目标推理服务；将目标推理服务部署至预设医疗集群节点，以便通过目标推理服务反馈与预设医疗集群节点的医疗推理需求对应的医疗推理结果。由此，可将医疗大模型的能力通过接口以服务的方式提供给用户，进而提升模型的部署灵活性和效率。