宏观经济学基础概念

1. 社会融资规模（社融）

社融是指居民和企业从金融体系里拿到的资金总量，可以理解为金融部门给企业和个人提供的“贷款和投资的总包裹”。社融里包含两大块：

• 表内业务：计入银行账本的，比如普通的人民币贷款。

• 表外业务：不计入银行账本的，比如一些信托贷款等。

通常看社融新增的部分，主要看 人民币贷款、政府债券和企业债券，这三项加起来占社融的90%。这些数据可以帮助判断各类部门对资金的需求，比如：

• 人民币贷款：看居民贷款多不多，反映他们对未来经济的信心。

• 政府债券：政府借钱搞建设，通常在经济下行时加大投入，拉动经济。

2. 广义货币供应量（M2）

M2简单来说就是“市场上流通的现金+存款的总量”，它代表货币供应的总量。如果M2增速加快，说明市场上钱变多了，大家手头的钱多了，消费可能增加，但也可能带来 通货膨胀（东西涨价）。

• 社融-M2增速差：如果社融增速快，说明企业借债融资的需求比较旺盛。

• M1-M2增速差：M1是现金和活期存款，增速差值大表示流动性强，投资环境好。

3. 利率

投资与量化投资

1.1 什么是投资

投资是为获得一定的预期社会经济效益而进行的资金或资本物的投入及其活动过程。投资可以发生在很多领域，如固定资产投资、证券投资、教育投资等。投资的风险与利益并存，有可能产生资产减值、时间浪费等损失。

1.2 股票投资的基本流程

股票交易流程大致包括选择证券公司、开户、转入资金、选股、买入、持有和卖出等步骤。

1.3 常见的股票投资分析流派

• 宏观策略分析法：从宏观经济变化的大方向入手，应用到具体的股票投资中。

• 价值投资法：选股，选出有巨大增值潜力的股票，长期持有。

• 主题事件投资法：对某一事件发展趋势进行判断，寻找投资机会。

• 技术分析法：以股价为研究对象，从股价变化的历史走势着手，预测未来价格趋势。

• 量化投资法：利用统计学、数学、信息技术等方法取代人工作出决策，通过模型完成股票交易。

1.4 什么是量化投资

量化投资是一种利用计算机技术和数学模型来实现投资策略的方法。它通过数量化和程序化的方式来进行买卖，具有客观、系统、自动化的特点。

1.5 量化投资的历史发展

步骤一：构建YOLO数据集

由于比赛原始数据集较大，我们采样部分数据构建训练集和验证集：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

if os.path.exists('yolo_seg_dataset'):
    shutil.rmtree('yolo_seg_dataset')

os.makedirs('yolo_seg_dataset/train')
os.makedirs('yolo_seg_dataset/valid')

def normalize_polygon(polygon, img_width, img_height):
    return [(x / img_width, y / img_height) for x, y in polygon]

# 采样训练集
for row in training_anno.iloc[:10000].iterrows():
    shutil.copy(row[1].Path, 'yolo_seg_dataset/train')

    img = cv2.imread(row[1].Path)
    img_height, img_width = img.shape[:2]
    txt_filename = os.path.join('yolo_seg_dataset/train/' + row[1].Path.split('/')[-1][:-4] + '.txt')
    with open(txt_filename, 'w') as up:
        for polygon in row[1].Polygons:
            normalized_polygon = normalize_polygon(polygon, img_width, img_height)
            normalized_coords = ' '.join([f'{coord[0]:.3f} {coord[1]:.3f}' for coord in normalized_polygon])
            up.write(f'0 {normalized_coords}\n')
 
 # 采用验证集     
 for row in training_anno.iloc[10000:10150].iterrows():
    shutil.copy(row[1].Path, 'yolo_seg_dataset/valid')

    img = cv2.imread(row[1].Path)
    img_height, img_width = img.shape[:2]
    txt_filename = os.path.join('yolo_seg_dataset/valid/' + row[1].Path.split('/')[-1][:-4] + '.txt')
    with open(txt_filename, 'w') as up:
        for polygon in row[1].Polygons:
            normalized_polygon = normalize_polygon(polygon, img_width, img_height)
            normalized_coords = ' '.join([f'{coord[0]:.3f} {coord[1]:.3f}' for coord in normalized_polygon])
            up.write(f'0 {normalized_coords}\n')

逐行代码分析

好的，我们逐行分析这段代码，它的主要功能是将训练集和验证集的数据从原始数据集中复制到新的目录中，并将多边形的坐标标准化为相对坐标。

代码逐行分析

1
2

if os.path.exists('yolo_seg_dataset'):
    shutil.rmtree('yolo_seg_dataset')

• 功能: 检查yolo_seg_dataset目录是否存在。如果存在，则使用shutil.rmtree删除该目录及其内容。shutil常用于文件与目录的处理。

• 目的: 确保每次运行代码时，数据集是干净的，没有旧的数据。

1
2

os.makedirs('yolo_seg_dataset/train')
os.makedirs('yolo_seg_dataset/valid')

• 功能: 创建两个新的子目录train和valid，用于存放训练集和验证集数据。

• 目的: 为之后的文件复制和标签文件创建所需的目录结构。

启动webui服务

使用lmdeploy启动一个api_server

1
2

conda activate agent_camp3
lmdeploy serve api_server /share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat --model-name internlm2_5-7b-chat

另开一个终端，使用stremlit启动agent_web应用

1
2
3

cd /root/agent_camp3/lagent
conda activate agent_camp3
streamlit run examples/internlm2_agent_web_demo.py

本地powershell建立ssh连接，进行端口映射

Q&A

参考文档

Tutorial/docs/L1/OpenCompass at camp3 · InternLM/Tutorial (github.com)

任务内容

任务复现过程

列出所有跟 InternLM 及 C-Eval 相关的配置：

1

python tools/list_configs.py internlm ceval

评测结束

任务内容

完成任务截图

一、前置知识

• 给模型注入新知识的方式：
  • 内部方式：更新模型的权重，但训练代价较大。
  • 外部方式：给模型注入额外的上下文或外部信息，不改变其权重。
• RAG 工作原理：
  • 将问题编码成向量，在向量数据库中找到最相关的文档块（top-k chunks）。
  • 将知识源分割成小块，编码成向量并存储在向量数据库中。
  • 将检索到的文档块与原始问题一起作为提示输入到 LLM 中，生成最终的回答。
• RAG 效果比对：
  • 由于 xtuner 是较新的框架，InternLM2-Chat-1.8B 训练数据库中未收录相关信息，使用 RAG 前问答均未给出准确答案，使用后能获得想要的答案。

二、环境、模型准备

（一）配置基础环境

• 在 Intern Studio 服务器上部署 LlamaIndex：

  • 打开 Intern Studio 界面，点击 创建开发机 配置开发机系统。
  • 填写 开发机名称 后，点击 选择镜像 使用 Cuda11.7-conda 镜像，在资源配置中选择 30% A100 * 1 的选项，立即创建开发机器。
  • 进入开发机后，创建新的 conda 环境，命名为 llamaindex，运行以下命令：

  1 2 3 4 5

  conda create -n llamaindex python=3.10 conda env list conda activate llamaindex conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia pip install einops==0.7.0 protobuf==5.26.1

  • 环境激活后，命令行左边会显示当前环境名称。

（二）安装 LlamaIndex

• 安装 LlamaIndex 和相关的包：

  1 2	conda activate llamaindex pip install llama-index==0.10.38 llama-index-llms-huggingface==0.2.0 "transformers[torch]==4.41.1" "huggingface_hub[inference]==0.23.1" huggingface_hub==0.23.1 sentence-transformers==2.7.0 sentencepiece==0.2.0

（三）下载 Sentence Transformer 词嵌入模型

• 新建一个 python 文件，贴入以下代码：

  1 2 3 4 5 6 7

  import os # 设置环境变量 os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com' # 下载模型 os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

• 在 /root/llamaindex_demo 目录下执行该脚本自动开始下载。

（四）下载 NLTK 相关资源

参考内容：

1.LangGPT社区：‌‌‬⁠⁠⁠‌⁠‬‌⁠‍‬⁠‬‬‬‌‌‌‍‌‌‬⁠LangGPT结构化提示词 - 飞书云文档
2.浦语开源文档书生浦语-浦语提示词工程实践
3.文档：系统论述文章： 构建高性能 Prompt 之路——结构化 Prompt

步骤

step0：前期准备
0.1：创建虚拟环境->激活虚拟环境->安装必要包文件
0.2：创建项目路径->进入项目
0.3：安装必要软件，如tmux

step1：模型部署模型下载->部署模型为OpenAI server->图形化界面调用
‬⁠⁠⁠
step3：langgpt结构化提示词⁠‬编写⁠‍‬⁠‬‬‬‌‌‌‍‌‌
偷懒大法：GPTS有LangGPT提示词专家，用大模型生成即可

tmux扫盲

tmux可以在终端中创建终端，将进程维持在后台。

当我们下载模型时，使用tmux在后台下载，即便我们断开ssh连接，下载也不会中断。

step1：部署模型为OpenAI server

环境配置

1
2
3
4
5
6
7
8
9
10
11
12
13

# 创建环境
conda create -n demo python=3.10 -y
# 激活环境
conda activate demo
# 安装 torch
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
# 安装其他依赖
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0
pip install streamlit==1.37.0

InternLM2-Chat-1.8B 模型部署

一、用Cli Demo 部署

1.创建demo文件夹，用于存放代码。并创建 cli_demo.py文件

1
2

mkdir -p /root/demo
touch /root/demo/cli_demo.py

其中cli_demo.py 的代码为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM


model_name_or_path = "/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()

system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""

messages = [(system_prompt, '')]

print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")

while True:
    input_text = input("\nUser  >>> ")
    input_text = input_text.replace(' ', '')
    if input_text == "exit":
        break

    length = 0
    for response, _ in model.stream_chat(tokenizer, input_text, messages):
        if response is not None:
            print(response[length:], flush=True, end="")
            length = len(response)

博客：书生·浦语大模型全链路开源开放体系及其最新发展

在现代人工智能技术的迅猛发展浪潮中，书生·浦语大模型全链路开源开放体系以其独特的优势和卓越的性能，在各个领域中不断取得突破性进展。本文将详细介绍该体系的发展历程、最新版本的特征、基于规则、模型和反馈的数据生成方法，以及mind search项目、开源数据提取工具和预训练框架、EXTINA的评测和部署、知识管理工具等各个方面的应用与优化策略。

书生·浦语大模型全链路开源开放体系的历程及最新版本的特征

书生·浦语大模型开源开放体系在多个方面表现出色，包括数据收集整理、模型训练、微调、评测和搜索引擎AI应用的部署等方面。最新版本书生·浦语大模型2.5在推理能力和短期记忆等方面有质的飞跃，并开放了label LLM项目，方便标注数据。此外，视频还介绍了模型的性能天梯和应用前景。

• 书生浦语大模型开源开放体系

• InputLM2.5性能飞跃

• 迭代发展过程中的数据驱动模型性能

基于规则、模型和反馈的数据生成方法，以及如何使用开源项目进行标注和推理

反映模型的数据生成方法在模型优化和训练过程中至关重要，以下是一些关键方法的介绍：

• 基于模型的反馈数据生成方法：包括相似度对齐和基于反馈的强化训练。

• 大海捞针实验：介绍模型的推理能力和大海捞针实验，模型在处理稀长背景知识的表现。

• 问题匹配分块：介绍问题匹配分块的方法，可以用于语言模型的索引和问题理解。

mind search项目