leo/khqp_trainer

Fork 0

Go to file

leo 83beeb0ea7 更新readme

2024-06-30 18:53:38 +08:00

.streamlit

flush db v1

2024-03-06 20:30:27 +08:00

bak

整理文档

2024-03-08 19:15:21 +08:00

.gitignore

init

2024-03-06 17:03:38 +08:00

data.db

db 初始化

2024-03-07 23:16:43 +08:00

db_utils.py

y有bug

2024-03-07 21:26:00 +08:00

docker-compose.yml

docker ver v2

2024-03-07 23:17:29 +08:00

Dockerfile

docker deploy

2024-03-07 00:02:34 +08:00

flush.py

更新数据

2024-03-07 19:47:24 +08:00

main.py

json_config 放到左边

2024-03-07 23:20:41 +08:00

README.md

更新readme

2024-06-30 18:53:38 +08:00

README.pdf

整理文档

2024-03-08 19:15:21 +08:00

requirements.txt

docker deploy

2024-03-07 00:03:02 +08:00

start.sh

docker deploy

2024-03-06 23:59:15 +08:00

test.py

实现变更同步到数据库

2024-03-06 22:02:27 +08:00

README.md

模型训练数据可视化生成器

简单数据crud. 训练数据特殊查询, json生成

技术栈

使用sqlalchemy作为orm框架处理sqlite, pydantic作为数据模型, streamlit可视化交互工具

pydantic1

sqlalchemy2

streamlit data_editor

streamlit_sqlite

实现思路

整体思路是: 保证DataFrame的数据和数据库的数据一致, 避免数据的重复加载增删查改的操作都是对数据库的操作, 操作数据库后需要保证DataFrame的数据同步更新

初始化变量, 使用st.session_state保存变量
数据加载部分, 执行sql语句, 生成数据, 一般页面刷新时执行
数据编辑部分, 实际上是对数据库的操作, 操作数据库后需要保证DataFrame的数据同步更新, 这里把操作放到回调函数上, 避免数据频繁更新导致页面闪烁
最终数据处理部分, 实际上是按照不同条件生成特定的sql语句, 然后执行sql语句, 生成数据
数据库模型定义部分, 将数据表定义成类, 以使用sqlalchemy操作sqlite
数据模型定义部分, 主要用户数据创建, 将读取到的数据行转为数据模型类, 也可以快速转为字典