2024-03-03-清华大学-2023预训练大模型与医疗_53页_4mb

预训练大模型与医疗应用总结

预训练大模型是一种基于Transformer架构的深度学习模型，通过预训练和微调在医疗领域展现出广泛应用潜力。首先，模型概述包括预训练过程：从大数据无标注学习到小数据特领域应用，强调了预训练的数据成本低优势和后续的精准性提升。BERT和GPT是典型模型，BERT支持双（掩码语言模型）和单向任务，GPT则专注于生成式任务。大模型面临可信性验证、时效性、成本和技术偏见等挑战，可通过temperature和top_p参数调整输出随机性和范围，以及知识嵌入、少样本提示、自我一致性等方法提升精确性。

医疗应用案例涵盖自动印象生成（如ImpressionGPT在放射学报告中的迭代优化）和医学图像辅助诊断（ChatCAD结合视觉和语言模型），展示了Prompt engineering在提升语义生成和交互中的重要性。清华大学探索了知识图谱融合、EnhancedBERT架构，强调数据-知识双驱动模式，推动数字生命（数基生命）概念，包括智能健康管理、数字孪生和医学机器人应用。同时，面临多机构数据隐私、低能源效率和跨学科整合挑战，需通过“人在回路”和“全场景数字化”加以解决。

总体而言，预训练大模型结合医学专业知识，可在诊断、报告生成和患者服务等领域显著提升效率，但须注意模型可信性、实时性和数据安全，以实现可持续的医疗智能化发展。