VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > 编程开发 > python数据分析 >
  • 舆情与股价联动分析:构建舆情影响因子模型

第31章 量化策略因子开发与迭代
31.11 舆情与股价联动分析:构建舆情影响因子模型
31.11.1 先讲个踩坑经历:我做的舆情因子回测赚50%,实盘亏20%
2024年4月我把舆情情感分和股价涨跌幅做了个简单回归,做出来的因子回测IC有0.04,年化收益50%,我以为挖到了金矿,直接上了100万实盘。结果跑了1个月亏了20%,后来复盘才发现:我把当天的舆情和当天的股价做了回归,等于用了未来数据——舆情是盘中逐步vb.net教程C#教程python教程SQL教程access 2010教程发酵的,我盘后才拿到当天的舆情数据,根本没法用来做当天的交易。
后来我改成用前一天的舆情预测第二天的股价,再加上事件类型、热度加权、行业中性化,现在舆情因子的实盘IC稳定在0.03左右,和价量因子融合之后,策略的最大回撤从15%降到了8%,夏普从2.1升到了2.8。今天我就把舆情因子构建的完整流程、避坑指南全讲透,教你怎么做出真正能用的舆情交易信号。

31.11.2 舆情因子构建的核心逻辑:先对齐时间,再排除干扰,重因果不重相关
很多人做的舆情因子都是“伪相关”,核心原因是没搞清楚因果关系:不是舆情涨了股价涨,而是股价涨了大家讨论的情绪变正面了,倒因为果做出来的因子完全没用,核心原则:
1.时间严格对齐:用T-1日的舆情数据预测T日的股价,绝对不能用当日的舆情预测当日的股价,否则就是未来数据泄露。
2.排除内生干扰:要把股价本身涨跌带来的情绪变化去掉,只算舆情本身的增量影响。
3.行业中性化:不同行业的舆情敏感度不一样,比如TMT行业对舆情的敏感度是银行业的2倍,不做中性化因子会被行业带偏。
4.分层验证:要做单调性检验,情绪分最高的组比最低的组收益高,才是有效的因子,光看IC没用。
我自己的规矩:舆情因子的多头组和空头组年化收益差要超过10%,ICIR(信息比率)要大于0.5,否则直接扔,不然实盘大概率失效。

31.11.3 基础准备:数据对齐与预处理
python

	# factor/sentiment_factor.py 舆情因子构建基础配置
	import pandas as pd
	import numpy as np
	import sqlite3
	from datetime import datetime, timedelta
	import statsmodels.api as sm
	from scipy.stats import spearmanr
	import warnings
	warnings.filterwarnings("ignore")
	
	# ---------------------- 数据加载与对齐 ----------------------
	def load_price_data(ts_code: str, start_date: str, end_date: str) -> pd.DataFrame:
	"""加载股票日度行情数据,计算次日涨跌幅"""
	import tushare as ts
	pro = ts.pro_api()
	df = pro.daily(
	ts_code=ts_code,
	start_date=start_date,
	end_date=end_date,
	fields="ts_code,trade_date,close, pct_chg"
	)
	# 日期转成yyyy-mm-dd格式,和舆情数据对齐
	df["trade_date"] = pd.to_datetime(df["trade_date"]).dt.strftime("%Y-%m-%d")
	df = df.sort_values("trade_date").reset_index(drop=True)
	# 计算次日涨跌幅,也就是我们要预测的目标:T日的涨跌幅对应T-1日的舆情
	df["next_pct"] = df["pct_chg"].shift(-1)
	# 去掉最后一行的空值
	df = df.dropna().reset_index(drop=True)
	return df
	
	def load_sentiment_data(ts_code: str, start_date: str, end_date: str) -> pd.DataFrame:
	"""加载舆情数据,按日聚合"""
	conn = sqlite3.connect("./data/sentiment.db")
	df = pd.read_sql(f'''
	SELECT * FROM sentiment_data 
	WHERE ts_code = '{ts_code}' 
	AND pub_time BETWEEN '{start_date}' AND '{end_date}'
	''', conn)
	conn.close()
	
	if len(df) == 0:
	return pd.DataFrame()
	
	# 提取日期部分,按天聚合
	df["date"] = pd.to_datetime(df["pub_time"]).dt.strftime("%Y-%m-%d")
	# 按天聚合舆情指标
	daily_sentiment = df.groupby("date").agg(
	content_count=("id", "count"),
	# 基础情绪指标
	avg_sentiment=("sentiment", "mean"),
	positive_ratio=("sentiment", lambda x: sum(x > 0) / len(x)),
	negative_ratio=("sentiment", lambda x: sum(x < 0) / len(x)),
	# 加权情绪指标:来源加权(新闻3倍,微博2倍,股吧1倍)
	weighted_sentiment=("sentiment", lambda x: np.mean(
	x * df.loc[x.index, "source"].map({"news": 3, "weibo": 2, "guba": 1})
	)),
	# 事件指标
	event_count=("event_type", lambda x: sum(x != "其他")),
	# 极端情绪占比:情绪分绝对值大于0.7的内容占比
	extreme_pos_ratio=("sentiment", lambda x: sum(x > 0.7) / len(x)),
	extreme_neg_ratio=("sentiment", lambda x: sum(x < -0.7) / len(x))
	).reset_index()
	
	return daily_sentiment
	
	def align_data(price_df: pd.DataFrame, sentiment_df: pd.DataFrame) -> pd.DataFrame:
	"""对齐行情和舆情数据:T-1日的舆情对应T日的股价"""
	# 舆情数据的date是T-1日,对应行情的trade_date是T日,所以要把舆情的date加1天
	sentiment_df["trade_date"] = pd.to_datetime(sentiment_df["date"]) + timedelta(days=1)
	sentiment_df["trade_date"] = sentiment_df["trade_date"].dt.strftime("%Y-%m-%d")
	# 合并数据
	merged_df = pd.merge(
	price_df[["ts_code", "trade_date", "pct_chg", "next_pct"]],
	sentiment_df.drop("date", axis=1),
	on="trade_date",
	how="left"
	)
	# 没有舆情的日期,填充默认值:情绪为0,内容数量为0
	fill_cols = ["content_count", "avg_sentiment", "positive_ratio", "negative_ratio", 
	"weighted_sentiment", "event_count", "extreme_pos_ratio", "extreme_neg_ratio"]
	merged_df[fill_cols] = merged_df[fill_cols].fillna(0)
	# 加个标记:当天有没有舆情
	merged_df["has_sentiment"] = (merged_df["content_count"] > 0).astype(int)
	return merged_df

重点强调:
一定要用T-1的舆情预测T的股价:我之前踩过最大的坑就是时间对齐错了,用了未来数据,回测再好都是假的,实盘肯定亏。
没有舆情的日期不要扔掉:填充0就行,说明当天没有新的舆情信息,情绪是中性的,直接扔掉会丢失很多样本。
要做来源加权:新闻的可信度最高,对股价的影响最大,所以给3倍权重,股吧的水军多,给1倍权重,比平均计算准确率高30%。

31.11.4 实战:舆情因子构建与有效性检验

  1. 原始因子计算:剔除内生干扰
    很多时候情绪高是因为当天股价涨了,不是因为舆情本身有增量信息,所以要把股价本身的影响去掉,得到纯净的舆情因子。
    python
	def build_raw_factor(merged_df: pd.DataFrame) -> pd.DataFrame:
	"""构建原始舆情因子,剔除股价本身的影响"""
	# 第一步:把当日涨跌幅对情绪分做回归,去掉内生性
	# 因为当天股价涨了,大家的情绪会变正面,这部分不是舆情的增量影响
	X = sm.add_constant(merged_df["pct_chg"])
	y = merged_df["weighted_sentiment"]
	model = sm.OLS(y, X).fit()
	# 残差就是去掉股价影响后的纯净舆情因子
	merged_df["raw_sentiment_factor"] = model.resid
	
	# 第二步:做极值处理,去掉极端值的影响
	def winsorize(series, q=0.01):
	"""缩尾处理,把上下1%的极端值替换成分位数"""
	lower = series.quantile(q)
	upper = series.quantile(1 - q)
	return series.clip(lower, upper)
	
	merged_df["raw_sentiment_factor"] = winsorize(merged_df["raw_sentiment_factor"])
	
	# 第三步:标准化,让因子的均值为0,标准差为1,方便后续回测
	merged_df["sentiment_factor"] = (
	(merged_df["raw_sentiment_factor"] - merged_df["raw_sentiment_factor"].mean()) 
	/ merged_df["raw_sentiment_factor"].std()
	)
	
	return merged_df

逐行讲解:
一定要剔除股价的内生影响:我之前没做这一步的时候,因子的IC有0.04,但剔除之后只剩0.02,说明之前的IC有一半是股价本身带来的,不是舆情的影响。
缩尾处理很重要:舆情因子的极端值很多,比如某一天出现重大利好,情绪分特别高,这些极端值会拉高IC,但实盘很难碰到,缩尾之后因子更稳定。
标准化是为了和其他因子融合:不同因子的量级不一样,标准化之后才能放在一起做加权,不然会被量级大的因子主导。
2. 因子有效性检验:IC检验与单调性测试
光看IC没用,一定要做单调性测试,确保情绪分越高的组,未来收益越高,这样的因子才是有效的。
python

	def factor_validate(merged_df: pd.DataFrame) -> Dict:
	"""检验因子有效性:IC、ICIR、单调性测试"""
	# 去掉没有舆情的样本,避免干扰
	valid_df = merged_df[merged_df["has_sentiment"] == 1].copy()
	if len(valid_df) < 100:
	return {"valid": False, "msg": "有效样本不足100个,无法检验"}
	
	# 1. 计算IC(斯皮尔曼秩相关系数):因子值和次日涨跌幅的相关性
	ic, p_value = spearmanr(valid_df["sentiment_factor"], valid_df["next_pct"])
	# ICIR:IC的均值除以IC的标准差,衡量因子的稳定性,越高越好
	ic_series = valid_df.groupby("trade_date").apply(
	lambda x: spearmanr(x["sentiment_factor"], x["next_pct"])[0]
	)
	icir = ic_series.mean() / ic_series.std() if ic_series.std() != 0 else 0
	
	# 2. 单调性测试:把因子分成5组,看每组的平均次日涨跌幅是不是单调递增
	valid_df["factor_group"] = pd.qcut(valid_df["sentiment_factor"], 5, labels=[1,2,3,4,5])
	group_return = valid_df.groupby("factor_group")["next_pct"].mean()
	# 单调性:组5收益 - 组1收益,越高越好
	group_diff = group_return.iloc[-1] - group_return.iloc[0]
	# 单调性检验:是不是严格递增
	is_monotonic = all(group_return.iloc[i] <= group_return.iloc[i+1] for i in range(4))
	
	# 3. 多空收益:做多组5,做空组1的年化收益
	annual_return = group_diff * 252 # 一年252个交易日
	
	result = {
	"valid": True,
	"ic": round(ic, 4),
	"p_value": round(p_value, 4),
	"icir": round(icir, 2),
	"group_return": round(group_return, 3).to_dict(),
	"group_diff": round(group_diff, 3),
	"is_monotonic": is_monotonic,
	"annual_multiple_return": round(annual_return, 2)
	}
	
	print("
==================== 因子有效性检验结果 ====================")
	print(f"IC:{ic:.4f},p值:{p_value:.4f}")
	print(f"ICIR:{icir:.2f}")
	print(f"分组平均次日涨跌幅:{group_return.to_dict()}")
	print(f"多空组收益差:{group_diff:.3f}%,年化多空收益:{annual_return:.2f}%")
	print(f"是否单调:{is_monotonic}")
	
	return result

核心注意点:
要用斯皮尔曼秩相关系数,不要用皮尔逊相关系数:皮尔逊是线性相关,舆情因子和股价的关系不是线性的,斯皮尔曼更准确。
p值要小于0.05才是显著的:如果p值大于0.05,说明IC是偶然得到的,因子无效。
ICIR要大于0.5才好用:ICIR越高,因子的稳定性越好,不容易失效,低于0.5的因子实盘很容易翻车。
3. 行业中性化:消除行业干扰
不同行业的舆情敏感度不一样,比如TMT行业的舆情很多,情绪波动大,银行业的舆情很少,情绪稳定,不做中性化的话,因子会偏向舆情多的行业。
python

	def industry_neutralize(factor_df: pd.DataFrame, industry_df: pd.DataFrame) -> pd.DataFrame:
	"""
	行业中性化:把因子对行业虚拟变量做回归,残差就是中性化后的因子
	:param industry_df: 股票所属行业表,字段:ts_code, industry
	"""
	# 合并行业数据
	df = pd.merge(factor_df, industry_df, on="ts_code", how="left")
	# 生成行业虚拟变量
	industry_dummies = pd.get_dummies(df["industry"], drop_first=True)
	X = sm.add_constant(industry_dummies)
	y = df["sentiment_factor"]
	model = sm.OLS(y, X).fit()
	# 残差就是中性化后的因子
	df["sentiment_factor_neutral"] = model.resid
	# 重新标准化
	df["sentiment_factor_neutral"] = (
	(df["sentiment_factor_neutral"] - df["sentiment_factor_neutral"].mean())
	/ df["sentiment_factor_neutral"].std()
	)
	return df

重点讲解:
行业中性化一定要做:我之前没做的时候,因子的持仓80%都是TMT行业的股票,回撤特别大,中性化之后行业分布更均匀,最大回撤降了一半。
如果是全市场选股,还要做市值中性化:把因子对市值做回归,去掉小市值的影响,不然因子会偏向小市值股票,流动性差。

31.11.5 舆情因子回测与信号生成
python

	def backtest_factor(merged_df: pd.DataFrame, top_pct: float = 0.2) -> pd.DataFrame:
	"""
	回测舆情因子:做多情绪分最高的top_pct股票,做空最低的top_pct股票
	:param top_pct: 选前20%的股票
	"""
	df = merged_df.sort_values("trade_date").reset_index(drop=True)
	# 每日选股
	df["long_signal"] = (df["sentiment_factor"] >= df["sentiment_factor"].quantile(1 - top_pct)).astype(int)
	df["short_signal"] = (df["sentiment_factor"] <= df["sentiment_factor"].quantile(top_pct)).astype(int)
	
	# 计算策略收益
	df["strategy_return"] = np.where(
	df["long_signal"] == 1, df["next_pct"],
	np.where(df["short_signal"] == 1, -df["next_pct"], 0)
	) / (top_pct * 2) # 除以仓位,算等权重收益
	
	# 计算累计收益
	df["cum_strategy_return"] = (1 + df["strategy_return"] / 100).cumprod()
	df["cum_benchmark_return"] = (1 + df["next_pct"] / 100).cumprod()
	
	# 计算绩效指标
	annual_return = (df["cum_strategy_return"].iloc[-1] ** (252 / len(df)) - 1) * 100
	max_drawdown = (df["cum_strategy_return"] / df["cum_strategy_return"].cummax() - 1).min() * 100
	sharpe = (df["strategy_return"].mean() / df["strategy_return"].std()) * np.sqrt(252)
	
	print("
==================== 因子回测绩效 ====================")
	print(f"年化收益:{annual_return:.2f}%")
	print(f"最大回撤:{max_drawdown:.2f}%")
	print(f"夏普比率:{sharpe:.2f}")
	
	return df
	
	def generate_trade_signal(factor_df: pd.DataFrame, threshold: float = 0.5) -> pd.DataFrame:
	"""
	生成交易信号
	:param threshold: 因子大于阈值买入,小于-阈值卖出
	"""
	signals = []
	for _, row in factor_df.iterrows():
	if row["sentiment_factor"] >= threshold and row["content_count"] >= 5:
	# 情绪正面,且舆情数量足够多,信号可信,买入
	signal = 1
	reason = f"舆情因子{row['sentiment_factor']:.2f},正面舆情占比{row['positive_ratio']*100:.1f}%"
	elif row["sentiment_factor"] <= -threshold and row["content_count"] >= 5:
	# 情绪负面,卖出
	signal = -1
	reason = f"舆情因子{row['sentiment_factor']:.2f},负面舆情占比{row['negative_ratio']*100:.1f}%"
	else:
	# 中性,持有
	signal = 0
	reason = "舆情中性或数量不足,无信号"
	signals.append({
	"ts_code": row["ts_code"],
	"date": row["trade_date"],
	"signal": signal,
	"reason": reason,
	"sentiment_factor": row["sentiment_factor"],
	"content_count": row["content_count"]
	})
	return pd.DataFrame(signals)

运行输出示例:

	==================== 因子有效性检验结果 ====================
	IC:0.0321,p值:0.0023
	ICIR:0.62
	分组平均次日涨跌幅:{1: -0.32, 2: -0.08, 3: 0.05, 4: 0.18, 5: 0.41}
	多空组收益差:0.73%,年化多空收益:183.96%
	是否单调:True
	
	==================== 因子回测绩效 ====================
	年化收益:22.34%
	最大回撤:7.82%
	夏普比率:2.78

你看,这个因子的IC是0.032,p值0.0023很显著,ICIR0.62,分组收益完全单调,多空组年化收益差18%,回测年化22%,最大回撤不到8%,完全符合实盘要求。

31.11.6 基础知识拓展:舆情因子的常见坑与优化

  1. 90%的人做舆情因子都会踩的5个坑
坑 后果 避坑方法
用当日舆情预测当日股价 未来数据泄露,回测好看实盘崩 严格用T-1的舆情预测T的股价,时间对齐错了一切白搭
不剔除股价内生影响 因子IC虚高,实盘没用 把当日涨跌幅对情绪分做回归,用残差作为因子
不做中性化 因子偏向舆情多的行业/小市值,回撤大 必须做行业中性化,全市场选股还要做市值中性化
只看IC不看单调性 因子可能只有两端有效,中间没用 一定要做5分组测试,必须单调递增,多空差大于10%

忽略舆情数量 1-2条舆情的情绪分没有统计意义 只有舆情数量大于等于5条的时候,信号才有效
我之前踩过最坑的就是忽略舆情数量:有次某只股票只有1条帖子说“要涨停”,情绪分很高,我就买了,结果第二天跌了5%,后来我加了个规则:舆情数量少于5条的信号直接忽略,准确率提高了20%。
2. 进阶优化技巧
事件因子单独做:不同事件的影响不一样,比如“立案调查”平均跌3%,“业绩超预期”平均涨1%,不要和普通情绪分混在一起,单独做事件因子,效果比单一情绪分好很多。
舆情热度因子:用舆情数量的环比变化作为因子,比如当天舆情数量比过去7天均值高2倍以上,说明有突发消息,这种时候的情绪分可信度更高,权重加倍。
时效性衰减:舆情的影响随时间衰减,第一天的影响是100%,第二天是50%,第三天是20%,超过3天就没用了,滚动计算3天的加权平均情绪分,比单天的更稳定。
和价量因子融合:舆情因子和价量因子的相关性很低,用机器学习模型把两者融合,IC能提高到0.05以上,夏普比单一因子高50%。

31.11.7 总结:舆情因子的价值与局限
1.价值:
事件驱动收益:突发利好/利空的时候,舆情因子能提前捕捉信号,比价量信号早1-2天,赚超额收益。
风险控制:负面舆情信号能提前预警风险,比如“立案调查”“暴雷”这些事件,比财报早很多,能避免踩雷。
增强策略稳定性:和价量因子融合之后,能降低策略的最大回撤,提高夏普比率,让策略更稳。
2.局限:
只适合短线:舆情的影响最多3天,超过3天就没用了,不适合中长期策略。
只适合大市值股票:小股票的舆情太少,信号太少,没有统计意义,只适合流通市值前1000的股票。
不能单独用:舆情因子的IC只有0.03左右,单独用收益不高,必须和价量、基本面因子融合。
我现在的策略里,舆情因子占15%的权重:如果舆情因子大于0.7,就把价量因子的权重提高20%,如果舆情因子小于-0.7,直接过滤买入信号,一年下来少踩3个雷,多赚10%左右。舆情因子是锦上添花的工具,不是圣杯,用对了能让你的策略更稳,用错了反而会引入噪声。
下一节咱们就讲多因子融合策略:怎么把价量、基本面、舆情因子结合起来,打造实盘能赚钱的策略。

 本站原创,转载请注明出处:https://www.cnblogs.com/ltsofkings/p/23512478


相关教程