tencentmusic / supersonic Goto Github PK

1、第一步圈选获取原始数据
2、在原始数据基础上进行flowup操作

1、Chat 中ParseInfo统一转换为DSL
2、Semantci统一采用DSL进行查询

(node:53818) [DEP_WEBPACK_CONFIGURATION_OPTIMIZATION_NO_EMIT_ON_ERRORS] DeprecationWarning: optimization.noEmitOnErrors is deprecated in favor of optimization.emitOnErrors (Use node --trace-deprecation ...` to show where the warning was created)
(node:53818) [DEP_WEBPACK_COMPILATION_OPTIMIZE_CHUNK_ASSETS] DeprecationWarning: optimizeChunkAssets is deprecated (use Compilation.hooks.processAssets instead and use one of Compilation.PROCESS_ASSETS_STAGE_* as stage option)
(node:53818) [DEP_WEBPACK_COMPILATION_NORMAL_MODULE_LOADER_HOOK] DeprecationWarning: Compilation.hooks.normalModuleLoader was moved to NormalModule.getCompilationHooks(compilation).loader
node:internal/crypto/hash:69
this[kHandle] = new _Hash(algorithm, xofLen);
^

Error: error:0308010C:digital envelope routines::unsupported
at new Hash (node:internal/crypto/hash:69:19)
at Object.createHash (node:crypto:138:10)
at BulkUpdateDecorator.hashFactory (/Users/liusili/code/supersonic/webapp/packages/supersonic-fe/node_modules/@umijs/deps/compiled/webpack/5/bundle5.js:184161:18)
at BulkUpdateDecorator.update (/Users/liusili/code/supersonic/webapp/packages/supersonic-fe/node_modules/@umijs/deps/compiled/webpack/5/bundle5.js:184062:50)
at /Users/liusili/code/supersonic/webapp/packages/supersonic-fe/node_modules/@umijs/deps/compiled/webpack/5/bundle5.js:107101:9
at processTicksAndRejections (node:internal/process/task_queues:82:21)
at runNextTicks (node:internal/process/task_queues:64:3)
at processImmediate (node:internal/timers:449:9) {
opensslErrorStack: [ 'error:03000086:digital envelope routines::initialization error' ],
library: 'digital envelope routines',
reason: 'unsupported',
code: 'ERR_OSSL_EVP_UNSUPPORTED'
}

Node.js v20.5.1
lerna ERR! npm run build:os-local exited 1 in 'supersonic-fe'
lerna ERR! npm run build:os-local exited 1 in 'supersonic-fe'`

openssl version is LibreSSL 2.8.3.

1、统一给所有metric增加agg聚合方式，以简化输入：
2、如果存在select 维度，则进行group by
3、如果存在metric 过滤等操作，需解析为having metric>xxx

目前输入：最近30天超音数访问次数大于2000的top10用户
select user_name, pv from t_1 where datediff('day', sys_imp_date, '2023-09-19') <= 30 and pv > 2000 order by pv desc limit 10
翻译成
select user_name, sum(pv) from t_1 where datediff('day', sys_imp_date, '2023-09-19') <= 30 GROUP BY user_name having sum(pv)>2000 ORDER BY sum(pv) DESC LIMIT 10

各阶段耗时查询展示
1、parser阶段耗时
2、sql生成阶段
3、execute阶段耗时
4、推荐问题阶段耗时

系统设置面向管理员角色，可以配置：
1、选择哪个大模型，API key、默认examplar
2、设置用户角色，比如系统管理员
3、调整性能相关的参数，比如mapper匹配阈值、LLM交互次数等，value值是否给到模型

背景：目前LLMParser解析暂不支持指标/维度别名，导致直接输入指标/维度的别名，传给大模型解析测的是真实的指标/维度名；

基于指标/维度别名，LLMParser查询会存在问题

1、提供查询维度值接口，供前端选择维度值
2、支持修改维度值后，查询生效（包含支持DSL类Sql查询）
3、支持修改数据时间

指标名称以数字开头或者包含特殊符号(中文括号)等, 会导致SQL解析时报错, 因此加上校验

可以考虑在问答界面，对返回的sql做修改后返给后端做double check后进行执行，这样对整体的使用上可能更灵活，相当于可以人工纠偏

现在看着表之间都是独立的

1、问答模块和Copilot集成到chat-sdk中
2、支持外部系统安装sdk npm包后，通过组件引用Chat和Copilot组件

当前的查询类型有：算指标、做圈选、查明细三类

/home/guixuanwen/projects/0.6-SNAPSHOT/../runtime/supersonic-standalone/bin/service.sh: 6: source: not found
/home/guixuanwen/projects/0.6-SNAPSHOT/../runtime/supersonic-standalone/bin/service.sh: 10: Syntax error: "(" unexpected
/home/guixuanwen/projects/0.6-SNAPSHOT/../runtime/supersonic-standalone/llm/bin/service.sh: 5: source: not found
/home/guixuanwen/projects/0.6-SNAPSHOT/../runtime/supersonic-standalone/llm/bin/service.sh: 9: Syntax error: "(" unexpected

1、新增系统设置页面
2、可配置不同的大模型，以及不同的key
3、支持在系统设置中配置大模型的example

1、新增系统设置页面
2、可配置不同的大模型，以及不同的key
3、支持在系统设置中配置大模型的example

置了指标不可见，但是推荐出来了

1、支持前端展示生成逻辑SQL
2、支持展示最终查询的SQL

您好，感谢开源，项目实用性很高，很强大， 但有没有考虑整个python版本的呢？

Version: 0.7.5-SNAPSHOT
Branch: master
Machine: Macbook Pro 14' 2021 (Apple M1 Pro)

Failed to build source code on MacOS with M1 chips.

Steps:

1. download source code on master branch
2. run sh assembly/bin/supersonic-build.sh, as instructed by wiki
3. Failed to finish the build

x launchers-standalone-0.7.5-SNAPSHOT/llmparser/sql/prompt_maker.py
x launchers-standalone-0.7.5-SNAPSHOT/llmparser/sql/output_parser.py
x launchers-standalone-0.7.5-SNAPSHOT/llmparser/sql/examples_reload_run.py
cp: /Users/bw/dev/supersonic/assembly/build/webapp/*: No such file or directory
assembly/bin/supersonic-build.sh: line 48: ../../launchers/chat/target/classes/webapp/supersonic.config.json: No such file or directory
assembly/bin/supersonic-build.sh: line 48: ../../launchers/semantic/target/classes/webapp/supersonic.config.json: No such file or directory

Related failures when installing npm packages:

../../node_modules/.pnpm/[email protected]/node_modules/esbuild: Running postinstall script, failed in 62ms
.../[email protected]/node_modules/esbuild postinstall$ node install.js
│ Unsupported platform: darwin arm64 LE
└─ Failed in 62ms at /Users/bw/dev/supersonic/webapp/node_modules/.pnpm/[email protected]/node_modules/esbuild
../../node_modules/.pnpm/[email protected]/node_modules/esbuild: Running postinstall script...
 ELIFECYCLE  Command failed with exit code 1.

> [email protected] build /Users/bw/dev/supersonic/webapp/packages/chat-sdk
> npm run clean && npm run build-es

The corss-env package has been deprecated since Jan 2021. kentcdodds/cross-env#257
It seems it does not support M1 chips.

可以对历史的对话进行showcase，对话需要匿名化

1、增加“看板管理”菜单
2、支持将对话中的图表加入到看板

few_shot_example dir is empty

1、参照指标市场，有搜索框、筛选器（标签、主题）、模型列表
2、数据库管理单独变成一个一级菜单

1、在图卡上增加sql解析的展示
2、支持节点折叠

1.尝试从主流的text-2-sql数据集中抽取部分case，比如spider，用于性能方面的评测
2.评测加或不加 mapper、corrector带来的价值
比如不加mapper/corrector，效果是怎么样的；加了以后准确率如何；

1、在输入框上面增加“点击停止”按钮
2、点击该按钮后停止当前查询

目前的SchemaMapper有两种机制：基于HanLP的前后缀匹配以及基于SQL的like模糊匹配，这些只能做到单纯文本层面的映射，无法支持语义层面映射。尝试通过词向量化来做映射，更有可能捕获到语义相似的词匹配

1、Corrector 按select、table、where、groupBy、having等功能进行整合

1、目前是直接在后面添加and 数据日期="2023-xx-xx"，如果是存在or条件会导致数据日期失效；应当在添加数据日期之前需要加上()，保证查询语义

SELECT sys_imp_date , favor_cnt FROM ( SELECT * FROM ( SELECT sys_imp_date , singer_favor_cnt as favor_cnt FROM ( SELECT sum ( singer_favor_cnt ) as singer_favor_cnt , sys_imp_date FROM ( SELECT favor_cnt as singer_favor_cnt , imp_date as sys_imp_date FROM ( SELECT * FROM PUBLIC . singer ) as singer ) as src00_singer_c7bb GROUP BY sys_imp_date ) as singer_0 ) as src2_ WHERE ( sys_imp_date >= '2023-01-01' and sys_imp_date <= '2023-01-01' ) ) as singer_1 limit 365

sum会带上空格,sum ( singer_favor_cnt ) ,导致在mysql中查询失败

1、

当前示例语义模型是SuperSonic自己创建的简单数据集，需要引入使用广泛的公开数据集

背景

当前Corrector是放在Chat模块，用于对LLM输出做修正。然而，不管是从翻译的功能，还是实现的机制来说，跟Semantic模块是同类的。因而从项目整体性上考虑，将Corrector整合进Chat模块，可以带来概念和实现的一致性。

设计

规则和LLM解析都生成S2QL，然后提交给semantic层翻译成SQL执行，翻译过程包括语法/语义修正、公式展开、数据表关联等。Semantic模块抽象一个类似Translator组件，语义修正、公式展开、数据关联都是其具体的实现，然后通过级连方式构成Semantic主链路。

大模型生成的sql有不少是嵌套查询，目前暂时不支持
select
*
from
CSpider 音 乐
where
评 分 < (
select
min(评 分)
from
CSpider 音 乐
where
语 种 = '英文'
)

1、前端展示统一采用中文
2、统一查询时，将中文转换为bizName

指标解读保存后前端返显数字，在问答时好像不生效

根据关键词或者词向量的相似度来召回

为了更好地定位和优化整体输出性能，可引入单独的日志文件来记录关键的输出，包含：
1、用户输入的NLQ
2、输入给LLM的Prompt
2、LLM输出的S2QL
3、Semantic输出的SQL

部分场景需要查询总体的聚合，不能加上group by对应的维度
1、目前会加上其他维度并进行group by ，这种会导致求总的聚合无法计算出来（总是会按照涉及的维度进行group by）

1、如果s2ql中没有日期，支持按照model级别不加日期过滤

现有模型样例数据直接写在data-h2.sql 维护起来不方便 因此改用API的方式来创建

@mainmainer

对无法识别的问询在查询结果中提示给用户