AgriGPTs
Research and Development of Agricultural Large Models|农业大模型研究与开发
AgriGPTs-农业大模型研究与开发
AgriGPTs系列模型
-
AgriGPT-6B，此版本为学术demo版，基于ChatGLM2-6B训练而来,所需显存约13225MB/1024=12.91GB。
- AgriGPT-13B，此版本为学术demo版，基于Baichuan2-13B训练而来所需显存约30425MB/1024=29.7GB。
- 注意： AgriGPT-13B目前通过预训练已经丧失了对话能力，对话能力将在下一个版本进行增强和改进。
简介 Brief Introduction
在农业领域，随着人工智能的不断发展，大规模语言模型（LLM）在该领域的应用提供了更多机会。尽管医疗、教育和金融等领域已经逐渐形成了自己的模型，但是农业领域在这方面的进展较为滞后，目前没有针对农业领域的大模型。
为了推动LLM在农业甚至其他垂直领域的实际应用，本项目通过开源了第一个农业大模型，后续会开源更多的农业大模型，旨在促进开放性研究和技术落地。
数据 Dataset
我们的数据主要由百度百科，维基百科以及各种文本数据组成，随后经过清洗、数据增强等处理原始数据，形成持续预训练数据
实验结果 experiments
效果 Results
未来计划
本Demo只是一个开始，我们将致力于开发面向大众的产品，期待通过大模型助力农业领域的发展。
如果您有进一步了解产品、进行投资、商务合作的需求，请联系agrigpt@outlook.com
使用 Usage
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig
model_HF_ID_or_path = "path_of_checkpoint_or_model_HF_ID"
tokenizer = AutoTokenizer.from_pretrained(model_HF_ID_or_path, use_fast=False,
trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_HF_ID_or_path, device_map="auto",
torch_dtype=torch.bfloat16, trust_remote_code=True)
model.generation_config = GenerationConfig.from_pretrained(model_HF_ID_or_path)
messages = [{"role": "user", "content": "告诉我小麦作物会存在的所有病虫害有哪些"}]
response = model.chat(tokenizer, messages)
print(response)
欢迎引用我们:
@misc{AgriGPTs,
author={Bolong Liu and Rongqiang Zhao and Jie Liu and Qiang Wang},
title={AgriGPTs},
year={2023},
publisher={GitHub},
journal={GitHub repository},
howpublished={\url{https://github.com/AgriGPTs/AgriGPTs}},
}
Star History
Contributors