liyanyang0316 Goto Github PK

coding2017

commonexcel

Excel处理工具集

coolplayspark

酷玩 Spark: Spark 源代码解析、Spark 类库等

dubbox

Dubbox now means Dubbo eXtensions, and it adds features like RESTful remoting, Kyro/FST serialization, etc to the Dubbo service framework.

excelutil

用于导入导出Excel的Util包，基于Java的POI。可将List<Bean>导出成Excel，或读取Excel成List<Bean>,读取时有验证和Log。

export

数据的导出（支持DB2、MySQL、Oracle、Teradata数据库的数据导出）、合并（支持将多个小数据文件合并成一个大的数据文件）、传输（支持FTP、SFTP数据传输）程序，适用于向指定FTP服务器供数的情况，常见于多个源系统以数据文件的形式向数据仓库集中供数。该程序目前已在某农村信用社数据仓库项目中投入使用。

freebook

基于MVP模式开发的带缓存网络爬虫,采用最流行框架搭建,干货多多

gecco

Easy to use lightweight web crawler（易用的轻量化网络爬虫）

go-d-bus

MySQL传输数据工具

hermes

开源p2p软件

housedb

房源数据爬虫。支持断点续爬，价格变更通知，提供数据的分析统计服务。

jsonutil

JSON generation and parsing utility library for Java.

mykit-db-sync

mykit中分离出的强大的数据库同步工具——mykit-db-sync。 基于java开发的功能强大、配置灵活的数据库之间同步工具，和数据产生器一样，均是前段时间因为项目需要编写的小工具，在实际应用场景中，我们经常需要定期将一个数据库的数据同步到另外一个数据库中，常见的一种做法是将源数据库的数据dump为sql文件，然后到目标数据库执行sql文件完成数据库的导入，但是这种方法至少存在以下问题： - 需要手工操作，效率低 - 当涉及数据表较多时，容易遗漏、出错 - 如果要定期同步，操作人容易忘记 - 难以应付频繁变更数据表或者字段 针对以上存在的问题，将珍贵人力从这种重复、无意义的工作中解脱出来，特意开发这个小工具，其中主要配置主要在jobs.xml中完成

p2p

玖信贷微信项目

p2p-1

p2p-2

p2p

seimicrawler

一个敏捷的，分布式的爬虫框架;An agile, distributed crawler framework.

social-sdk

微信、微博、QQ登录、腾讯微博...

solebooks

类似豆瓣读书，提供一个书籍查看、搜索、交流的平台

sp2p

晓风p2p

spider

a simple distributed spider in Java. Java编写的一个简单分布式爬虫

teddy

Spark Streaming监控平台，支持任务部署与告警、自启动

unipinyin

Java 汉语拼音查询工具。支持CJK基本字符集及扩充区A的中文汉字，共26679个，其中多音字6769个。

utils4s

scala、spark使用过程中，各种测试用例以及相关资料整理

webcollector

WebCollector is an open source web crawler framework based on Java.It provides some simple interfaces for crawling the Web,you can setup a multi-threaded web crawler in less than 5 minutes.

weibo-spider

新浪微博爬虫，采用Java语言开发，基于HTTPClient 4.0，采用MySQL存储爬取数据，支持多进程并发执行。功能包括：爬取微博、评论、转发、关注列表（层次）。根据数据需求，持续更新...