基于Lambda架构的股票市场事件处理引擎实践

左侧数据ETL的过程是完全由Airflow来进行驱动调度的,而且每次处理完就将状态cache到Redis中,以便下次增量处理.在上图的右侧则是与用户强相关的业务逻辑,将用户配置的信息与实时资讯信息进行撮合匹配,根据用户设置的偏好来产生推送事件.

此处用Kafka来做数据间的解耦,好处是不言而喻的.首先是保证了消息之间的灵活性,因为左侧部分产生的事件是一个基础公共事件,而右侧才是一个与业务紧密耦合的逻辑事件.基础公共事件只有事件的基础属性,是可以被很多业务同时订阅使用的.

其次从技术角度讲左侧是一个类似批处理的过程,而右侧是一个流处理的过程,中间通过Kafka做一个转换与对接.这个应用其实是很具有代表性的,因为在大部分情况下,数据源并不是以流的形式存在,更新的频率也并不是那么实时,所以大多数情况下都会涉及到batch layer与speed layer之间的转换对接.

3)资金流选股策略

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!