思通舆情 v1.1.0

源码属性

源码简介

思通舆情是一款开源免费的舆情系统，支持本地化部署。支持对海量的舆情数据进行交叉分析和深度挖掘，为用户提供全面的舆情数据，专业的舆情分析，快速的舆情处理等服务，提升企业品牌价值和风控能力。

思通舆情的功能：

舆情监测：通过全文搜索、来源搜索、热搜监测等多重功能实现对全网文本、图片、视频舆情实时发现;

舆情预警：根据用户设置预警条件，判别舆情信息，并第一时间通过多渠道告知用户;

舆情分析：全网事件分析、事件分析、传播分析、竞品分析、评论分析、热度指数，6类大数据分析;

舆情报告：一键快速生成日、周、月、季度报告,自带行业舆情案例库，为舆情应对提供参考。

思通舆情的优势：

开源开放：零门槛，线上快速获取和安装;快速获取用户反馈、按月发布新版本;

简单易用：极易上手，通过鼠标点击和拖拽即可完成分析;

秒级响应：超大数据量下秒级查询返回延时;

思通舆情的数据：

新闻媒体：新闻、app、电子报;

网络自媒体：搜狐、百家号、今日头条、博客、企鹅号、微信公众号、微博;

论坛：贴吧、论坛、问答、知乎;

短视频：抖音、快手，等众多平台。

思通舆情技术栈：

数据采集

开发平台：Java EE & SpringBoot

采集框架：Spider-flow & WebMagic & HttpClient

APP采集：Xposed框架

URL仓库：Redis

网页渲染解析：Jvppeteer & Playwright(微软开源)

web应用服务器：Nginx & Tomcat

储存任务发送：Kafka & Zookeeper

抓取任务发送：RabbitMQ

配置管理：MySQL

前端展示：Bootstrap & VUE

数据处理

开发框架：SpringBoot

开发语言：Java JEE

数据暂存：MySQL

数据索引：Redis

深度学习：PaddlePaddle

自然语言处理：HaNLP & THUCTC

数据处理和储存任务发送：Kafka & Zookeeper

数据中台：自研 & DataEase

数据初始化：集成FlyWay，自动初始化MySQL

数据总线：RockAPI (进行了二次开发)

数据分析

数据库：MySQL

数据检索：Elasticsearch

中文分词器：IK分词

相似度计算：Clickhouse

数据同步：DataX

文章储存：Mongodb

数据缓存：Redis

消息队列：kafak & rabbitMQ

开发框架：SpringBoot

开发语言：Java JEE

图表展示：Apache Echarts & anyCharts

安装依赖

JavaEE 8 以上版本;

MySQL 5.5 以上版本;

Redis 4.0 以上版本;