Light

yaoguangluo / deta_database Goto Github PK

View Code? Open in Web Editor NEW

314.0 5.0 72.0 7.79 MB

Plsql Database数据库

License: GNU General Public License v2.0

Java 38.85% JavaScript 36.39% CSS 15.93% HTML 8.84%

quantum-field-theory subsetting vpc vpcs concurrent-data-structure json messy-folders restful-webservices database plsql

deta_database's Introduction

最新见 https://github.com/yaoguangluo/ChromosomeDNA

🚀 <<100%(首创)个人著作权开源项目: 2019R11L885247, 软著登字第4317518号>>, Deta quantum-field json PLSQL database integrated in deta VPCS http server. size 30KB / 量子碎片去死锁带binlog动态回滚的PLSQL数据库，启动50毫秒，100,000~4,000,000 QPS 注: http://tinos.qicp.vip/ Deta官方网站已经采用该数据库.

注释：前端的angular，js,css等不属于个人著作权申请范围（vpcs socket流，德塔plsql语言和德塔数据库引擎），详细文档地址如下：

https://github.com/yaoguangluo/Deta_Resource/blob/master/%E5%BE%B7%E5%A1%94Socket%E6%B5%81%E5%8F%AF%E7%BC%96%E7%A8%8B%E6%95%B0%E6%8D%AE%E5%BA%93%E8%AF%AD%E8%A8%80%E5%BC%95%E6%93%8E%E7%B3%BB%E7%BB%9F1.0.0%20%E6%BA%90%E7%A0%81%20final.docx

基于Deta官方网站所有实际功能需要逐步完善需求函数细节.

作者准备花些时间在gitee上进行中文注解其原理。20190624

说明书地址： https://github.com/yaoguangluo/Deta_Resource/blob/master/%E5%BE%B7%E5%A1%94Socket%E6%B5%81%E5%8F%AF%E7%BC%96%E7%A8%8B%E6%95%B0%E6%8D%AE%E5%BA%93%E8%AF%AD%E8%A8%80%E5%BC%95%E6%93%8E%E7%B3%BB%E7%BB%9FAPI%201.0.0%20%E8%AF%B4%E6%98%8E%E4%B9%A6%20final.docx

正在将非个人著作权的 3个JAVA文件（zip unzip，中科大非对称加密和 cacheManager 移动到如下项目中）

https://github.com/yaoguangluo/Data_Processor/tree/master/DP （zip 筛子加密和 cache 包）

德塔数据库源码，该数据的亮点为：一次执行多项复杂任务，极为人性化的简易命令行 PLSQL 编程语言模型，打破现在所有传统关系数据库数据的单任务执行模式。基于双向队列的日志分析功能和命令语句执行方式和量子碎片文件存储**，永远告别死锁。自动修复数据库，自动rollback异常数据操作，同时提供rest数据库操作接口和plsql命令行执行接口2种需求，满足各种场合的数据库操作应用。该数据库admin系统建立在deta VPCS HTTP服务器中，整个系统启动时间 50毫秒。有效和运维交互。

已完善功能：单表增删改查。功能作者：罗瑶光

已完善功能：操作权限

已完善功能：超时 (token的早期不可逆加密方式思路来自10年前的中科大的筛子加密论文，后本人修改为2次组合加密，并采用mine decode 方式解码，在这感谢中科大) 具体例子：https://blog.csdn.net/weizhiiceboy3/article/details/51955026 等，感谢csdn 如果需要更高级别的需求，可以将该方法进行客户端2次加密，形成广义非对称加密模型。

已完善功能：hash存储。功能作者：罗瑶光

已完善功能：并发。功能作者：罗瑶光

已完善功能：数据库2级缓存。功能作者：罗瑶光

已完善功能：采用VPC/VPCS（作者罗瑶光）架构

已完善功能：采用纯静态类接口。功能作者：罗瑶光

已完善功能：采用deta HTTP 服务器做 ADMIN。功能作者：罗瑶光

已完善功能：REST JSON 做第三方 request 扩展。。功能作者：罗瑶光

已完善功能：增加过滤，同源，限制机制。功能作者：罗瑶光

已完善功能：数据库查询映射区间。功能作者：罗瑶光

已完善功能：db plsql query设计 select。功能作者：罗瑶光

已完善功能：读写分离，读操作全部3级缓存。。功能作者：罗瑶光

已完善功能：plsql 量子数据库语言去死锁机制。。功能作者：罗瑶光

已完善功能：德塔 PL/SQL 数据分析语言定义规范。。功能作者：罗瑶光

已完善功能：前端angular html页面，感谢webadmin 开源项目组，本人采用了bootstrap原生js组件。

已完善功能：select功能的表join 函数功能作者：罗瑶光

已完善功能：select功能的表aggregation limit 函数功能作者：罗瑶光

已完善功能：semi join功能的表 relation 函数功能作者：罗瑶光

已完善功能：plsql changeDBPath/ setRoot函数；功能作者：罗瑶光

已完善功能：plsql create table函数；功能作者：罗瑶光

已完善功能：db plsql query设计 update 功能作者：罗瑶光2019-01-22

已完善功能：db plsql query设计 insert 功能作者：罗瑶光2019-01-23 备注：没有检查，

已完善功能：db plsql query设计 delete 功能作者：罗瑶光2019-01-24 备注：已经检查，

已完善功能：1 update rest接口涉及的缓存更新功能作者：罗瑶光2019-01-24

已完善功能：2 delete rest接口涉及的缓存更新功能作者：罗瑶光2019-01-24

已完善功能：3 insert rest接口涉及的缓存更新功能作者：罗瑶光2019-01-24

已完善功能：之前因为没有内存映射区间，所以操作都是硬盘方式，现在有了3， 4级缓存，所有读走2,3,4级buffer，所以之前导致的硬盘修改写操作都要进行缓存更新，我需要完成这个功能，同时我还做了网页cache，这些相关的地方也要及时更新。2019-01-25

已完善功能：所有数据格式通过restcall的准备全部走gzip，功能已经实现在在另外一个项目中 https://github.com/yaoguangluo/Deta_VPCS_Frontend/blob/master/DetaSrc/org/deta/boot/vpc/vision/RestMapVision.java 到时候我会整合。2019-01-26~27

已完善功能：update 的 nest join 函数功能作者：罗瑶光2019-01-28 采用离散数学的conjunction 地摩根迭代化简进行多join表的选择条件区分。2019-01-28

已完善功能：固定变量名称编程规范整体整理。动态集合先搁置。罗瑶光2019-01-29

已完善功能：语音媒体文件的发送。罗瑶光2019-01-29

已完善功能：套接字阅读格式规范。罗瑶光2019-01-29

已完善功能：tcp 协议 header格式规范。罗瑶光2019-01-29

已完善功能：select where in 函数。罗瑶光2019-01-29

已完善功能：select where !in 函数。罗瑶光2019-01-29

已完善功能：日志管理系统的VPCS定义。罗瑶光2019-01-29

已完善功能：plsql日志binlog 记录定义。罗瑶光2019-01-30

已完善功能：plsql日志binlog 记录压缩简单实现。罗瑶光2019-01-30

已完善功能：plsql日志binlog 逐行写记录为优化版实现。罗瑶光2019-01-30

已完善功能：plsql编程规范文档1.0版发布。罗瑶光2019-01-30 https://github.com/yaoguangluo/VPCS_Theroy/blob/master/Deta_Database_PLSQL%20_V1.0.pdf

已完善功能：plsql 日志读过滤和写安全机制。。罗瑶光2019-01-30

已完善功能：写错误的rollback 函数。罗瑶光2019-01-30

已完善功能：REST CALL ROLLBACK函数。罗瑶光2019-01-30

已完善功能：测试和真实运行plsql写操作 restcall 函数。方便为后端业务整体rollback功能打下扎实基础。罗瑶光2019-01-30

//refer https://wenda.so.com/q/1512966734215123

已完善功能：binlog 函数数据压缩热备，解压zip 格式没有检查和测试。罗瑶光2019-01-31

//refer http://www.blogjava.net/dreamstone/archive/2007/08/09/134986.html

已完善功能：socket握手多核模式（该功能因需要硬件支持已去掉）。保证100,000 QPS 吞吐量.罗瑶光2019-02-02

已完善功能：rollback写操作并 binlog gzip 压缩文件记录带时间和操作人。罗瑶光2019-02-07

已完善功能：数据库热备函数已检测，运行成功。罗瑶光2019-02-08

已完善功能：数据库按时间点进行整库恢复已完成，待检测。罗瑶光2019-02-08

数据库1.0未检测版本已经小节。

已完善功能：第二次固定变量名称编程规范整体整理完成了编辑格式清理。罗瑶光2019-03-05

已完善功能：第二次固定变量名称编程规范整体整理完成了命名格式清理。罗瑶光2019-03-05

预先搁置功能：table函数的primary key， unique key函数管理系统设计。；（属于2级优先，先搁置）

正在完善功能：基于 VPCS **的写操作日志管理系统。

正在完善功能：已完成并准备检测（binlog 函数数据按时间恢复, 热备方式，按时间戳方式恢复）。

未完善功能：7种join模式。

https://www.codeproject.com/Articles/33052/Visual-Representation-of-SQL-Joins

未完善功能：第二次固定变量名称编程规范整体整理。

未完善功能：binlog 日志大数据文件分页。

未完善功能：binlog 日志加入追踪系统和5W系统。

未完善功能：日志管理系统的自动触发器修复数据库机制。

未完善功能：第三次固定变量名称编程规范整体整理。

未完善功能：人工智能分析病毒篡改数据库文件的条件。

未完善功能：人工智能分析人为的语法错误修复。

未完善功能：人工智能分析非人为的数据异常操作和损毁的自动完善机制。

未完善功能：基于sort key 前序treeMap 之后排序功能设计

未完善功能：基于sort key 后序treeMap

未完善功能：引擎算法优化

未完善功能：序列化堆2分搜索加速

未完善功能：第四次固定变量名称编程规范整体整理。

未完善功能：jvmsets bit优化

未完善功能：写错误的rollback 函数

未完善功能：消息队列进行区域链接热备恢复。

未完善功能：研发更多实用的函数计划。

未完善功能：所有错误日志属性分级格式化记录。

未完善功能：第五次固定变量名称编程规范整体整理。

未完善功能：企业级或者商业版进行sonar认证

德塔 PL/SQL 数据分析语言说明文档。

https://github.com/yaoguangluo/VPCS_Theroy/blob/master/Deta_Database_PLSQL%20_V1.0.pdf

deta_database's People

Contributors

Stargazers

Watchers

deta_database's Issues

About Fix.

Hi all,

ExecPLSQLImp.java
At the 52st line, please add this

if(null!= acknowledge) {
if(output.get("start").toString().equals("1")) {
PLSQLCommandImp.processExec(acknowledge, output, mod);
}
}

above on

PLSQLCommandImp.processCheck(output.get("newCommand").toString(), output, mod);

this line.

by the way, makes value of 'acknowledge' out of the inner container will be ok for running。

CreateTablesImp.java
At the 30st line, please change this as below:

String tableSpecPath = DBPath + "/spec";
String tableRowsPath = DBPath + "/rows";

into

String tableSpecPath= tablePath + "/spec";
String tableRowsPath= tablePath + "/rows";

to avoid the unknown table name exception.

get any questions please let me know ASAP.

Cheers,
Yaoguang,

for the data base binlog system, will make pretty monitor sections later

1 security
2 monitor
3 operation log
4 time
5 excption
6 leakage
7 binding info
8 response

wav net::ERR_CONTENT_DECODING_FAILED

working one fix wav net::ERR_CONTENT_DECODING_FAILED about WAV gzip file.

will use gzip for writing plsql logs

public static void writeLogFile(String plsql) {
	checkCurrentFileRange();
	//zip text string and write; im thinking about a new method to make string write small.
}

private static void checkCurrentFileRange() {
	//if currentfiletime - currenttime > 1 day
	//if currentfilesize > 100mb
	//makenew file;
}

@SuppressWarnings("unused")
private static void coverageByTime(String time) {
	//loop unzip loggers,
	//find point of time,and start read and exec the plsql from the loggers.
	File file = new File(logCategoryPath);
	if(file.isDirectory()) {
		File[] files=file.listFiles();
		//...
	}
}

make nest join table for plsql update

tableName:test:update;
culumnValuedate19850525;
culumnValue:date1:19850526;
condition:or:testCulumn1|<|20:testCulumn2|==|fire;
condition:and:testCulumn1|>|100:testCulumn2|==|fire;
tableName:utest:nest;
condition:and:uCulumn3|<|20;
relation:and:testCulumn1|==|uCulumn1:testCulumn2|!=|uCulumn2;

这个工程今天开始全面差样化函数设计CNN量化碎片清洗，预计速度再加个30%

1：德塔承诺，商业版本的质量和免费版本是一样的。只是多了on call，**论证，客户需求加速等一些特殊的闭源功能。
2：巩固一下世界第一的位子。德塔开源随时接受世界任何团体的正面竞争和分享。德塔一直在进化。

make js rest interface to test deta plsql for the select function

make js rest interface to test deta plsql for the select function

make semi selection with thin join tables sample

setRoot:C:/DetaDB;
baseName:backend;
tableName:usr:select;
condition:or:u_id|<=|3:u_id|>|7;
condition:and:u_email|!equal|321:u_name|!equal|123;
getCulumns:u_id|as|detaId:u_email|as|detaEmail;
join:backend:usrToken;
condition:and:u_level|equal|low;
getCulumns:u_id|as|sId:u_level:u_password|as|SSID;
relation:and:detaId|==|sId;
aggregation:limit:0|~|1;

第二代主题开发前准备sonar认证下。

很多企业等着要，这个星期就把这个问题解决掉。

关于下一个开发主题

这个数据库系统的简单逻辑功能已经规范化了，下一步就是工程应用中扩展它，
大体会分为3点：
1 增加更多简洁有效的PLSQL命令集合。
2 存储数据加密。
3 权限系统优化。

Recommend Projects

React

A declarative, efficient, and flexible JavaScript library for building user interfaces.
Vue.js

🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript

TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
TensorFlow

An Open Source Machine Learning Framework for Everyone
Django

The Web framework for perfectionists with deadlines.
Laravel

A PHP framework for web artisans
D3

Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

javascript

JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
web

Some thing interesting about web. New door for the world.
server

A server is a program made to process requests and deliver data to clients.
Machine learning

Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Visualization

Some thing interesting about visualization, use data art
Game

Some thing interesting about game, make everyone happy.

Recommend Org

Facebook

We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft

Open source projects and samples from Microsoft.
Google

Google ❤️ Open Source for everyone.
Alibaba

Alibaba Open Source for everyone
D3

Data-Driven Documents codes.
Tencent

China tencent open source team.