ITeye博客

kavy的博客

kavy · 共 529 篇文章

RocksDB数据库简介及使用分享

目录 1 介绍 2 1.1 文件介绍: 2 2 架构 3 3 特性 4 3.1 Get,Interator(迭代器)和快照 4 3.2 前缀迭代器 5 3.3 更新 5 3.4 持久化 5 3.5 ReadOnly 模式 6 3.6 数据库调试日志 6 3.7 事务日志 6 3.8 Memtable 管道 6 3.9 合并 Merge 操作 7 3.9.1 合并条件 7 4 工具 8 5 应用 9 5.1 初始化 9 5.2 使用 9 5.3 参数配置 10 5.4 查看数据库数据 10 介绍 RocksDB 项目最开始是在 Facebook 作为一个试验项目开发的高效的数据库软件,可以实现…

2020-06-11 08:53 · 大数据 · 评论(0)

SpringBoot 和Vue前后端分离入门教程(附源码)

推荐阅读(点击即可跳转阅读) 1. SpringBoot内容聚合 2. 面试题内容聚合 3. 设计模式内容聚合 4. 排序算法内容聚合 5. 多线程内容聚合 前端工具和环境: Node.js V10.15.0 Vue.js V2.5.21 yarn: V1.13.0 IDE:VScode 后端工具和环境: Maven: 3.52 jdk: 1.8 MySql: 14.14 IDE: IDEA Spring Boot: 2.0+ Zookeeper:3.4.13 前后端分离(服务端渲染、浏览器渲染) 实现真正的前后端解耦。 核心思想是前端html页面通过ajax调用后端的restuful ap…

2020-06-04 08:58 · 项目构建 · 评论(0)

Redis单线程的正确理解

很多同学对Redis的单线程和I/O多路复用技术并不是很了解,所以我用简单易懂的语言让大家了解下Redis单线程和I/O多路复用技术的原理,对学好和运用好Redis打下基础。 一、Redis的单线程理解 Redis客户端对服务端的每次调用都经历了发送命令,执行命令,返回结果三个过程。其中执行命令阶段,由于Redis是单线程来处理命令的,所有到达服务端的命令都不会立刻执行,所有的命令都会进入一个队列中,然后逐个执行,并且多个客户端发送的命令的执行顺序是不确定的,但是可以确定的是不会有两条命令被同时执行,不会产生并发问题,这就是Redis的单线程基本模型。 Redis服务器通过socket(套接…

2020-06-02 09:27 · 技术内容 · 评论(0)

SpringBoot2.x整合线程池(ThreadPoolTaskExecutor)

JAVA && Spring && SpringBoot2.x — 学习目录 我们在JDK中,可以使用ThreadPoolExecutor提供线程池服务,相关理论,可以在 多线程——线程池ThreadPoolExecutor 了解。但是SpringBoot提供了@Async [鹅神可] 注解,帮助我们更方便的将业务逻辑提交到线程池中异步处理。 1. SpringBoot对线程池的自动装载 源代码: org.springframework.boot.autoconfigure.task.TaskExecutionAutoConfiguration @Bean @ConditionalOnMis…

2020-05-26 18:39 · 技术内容 · 评论(0)

浅析springboot自动配置原理

梦里寻他千百度——Springboot自动配置 还记得曾经为了引入一个框架,而在spring的xml文件里面写一大堆的配置或者以注解的形式,定义一大堆的配置类,简直不要太繁琐,稍不注意还很容易出错。终于有一天,springboot出现了,简直就是天使般的存在,自从用上springboot,腰也不疼了,头发掉的也少了。这一切都源于Springboot自动配置的特性。 Springboot遵循“约定优于配置”的原则,使用注解对一些常规的配置项做默认配置,减少或不使用xml配置,让你的项目快速运行起来。Springboot还为大量的开发常用框架封装了starter,如今引入框架只要引入一个star…

2020-05-26 15:48 · 技术内容 · 评论(0)

idea-springboot热部署-使用JRebel插件(亲测绝对可用)

最新关于我自己的,最新版idea 2018已经可以使用这种热部署了。具体原因因为没时间,所以能用就没管了,下图右上角的jrebel图标已经没了,因为我卸载了还能使用热部署,哈哈 下面是其他方法: 第一种:同事可用,我没用这个,所以没有详细步骤,不过步骤跟第二种一样 1.直接下载,里面有说明: 链接:https://pan.baidu.com/s/1m5S_d-zcbn_4yEo4yYqKHQ 提取码:jv40 第二种: 1.首先下载JRebel压缩包和破解包 百度云: 链接:https://pan.baidu.com/s/1m4y_kersEmjT5JgwihsMXQ 提取码:gp5d 里面…

2020-05-25 14:59 · 评论(0)

你用过Excel,却不知还有一款神器“FineReport”

前发过一文,《 大屏做成这样,领导不重用你都难! 》,不知大家是否还有印象? 小编陆续收到很多私信和留言,问及如何制作?可视化如何设计?数据哪里来等等问题。 其实小编想说,只要掌握背后制作的工具——FineReport,就已经成功了80%。 但finereport又不只只是大屏软件,它的本质是一个通用的报表制作和数据可视化工具。就好比Excel,小到可以存储统计数据、制作各式各样的图表、dashboard,大到制作财务报表、开发进销存系统。 但在企业应用中,企业/组织/团体一旦成规模时,数据量是数以万计的,无论数据还是报表都需要协同管理不断更新。面对各大OA\ERP\CRM系统的数据,部门提…

2020-05-15 09:59 · 大数据 · 评论(0)

Redis底部的几种存储结构(sds、dict、ziplist、intset、skiplist)

首先本文参考的是这个系列的文章: https://mp.weixin.qq.com/s?__biz=MzA4NTg1MjM0Mg==&mid=509777776&idx=1&sn=e56f24bdf2de7e25515fe9f25ef57557&mpshare=1&scene=1 博主写的非常好,非常详细,我个人看完后,对核心部分进行了如下总结 第一层面,从使用者的角度value有这几种结构: (注意,key的结构都是string类型的) string、list、hash、set、sortedset 第二层面,从内部实现的角度,有如下几种结构: dict、sds、ziplist、quickl…

2020-04-23 18:05 · 大数据 · 评论(0)

使用redis管道(pipeline)实现批量查询,批量修改

Pipeline:“管道”,和很多设计模式中的“管道”具有同样的概念,pipleline的操作,将明确client与server端的交互,都是“单向的”:你可以将多个command,依次发给server,但在此期间,你将无法获得单个command的响应数据,此后你可以关闭“请求”,然后依次获取每个command的响应结果。 从简单来说,在IO操作层面,对于client而言,就是一次批量的连续的“write”请求,然后是批量的连续的“read”操作。其实对于底层Socket-IO而言,对于client而言,只不过是多次write,然后一次read的操作;对于server端,input通道上re…

2020-04-23 08:48 · 技术内容 · 评论(0)

基于Spark的机器学习实践 (六) - 基础统计模块

1 基础统计模块及常用统计学知识介绍 ◆ Spark 的基础统计模块即MLlib组件中的Basic Statistics部分 ◆ Basic Statistics主要包括Correlation 与Hypothesis testing等 ◆ 其大多被封装在orq.apache spark.mllib.stat._ 中 1.1 基础统计学知识 1.1.1 常用的统计学知识 ◆ 描述性统计 平均数,方差,众数,中位数... ◆ 相关性度量 spark 提供了皮尔逊和斯皮尔曼相关系数,反映变量间相关关系密切程度 ◆ 假设检验 根据一定假设条件,由样本推断总体的一种统计学方法,spark提供了皮尔森卡…

2020-03-18 16:21 · 机器学习 · 评论(0)

基于Spark的TF-IDF算法的中文文本相似度实现

第一、先说下应用场景吧,用户给出一段文字然后我返回十个与这段文字最相似的文件名称。 第二、什么是TF-IDF算法?我就简单介绍一下,因为百度上也有许多的介绍,TF-IDF用中文来解释就是词频、逆文档频率的意思,TF-IDF体现了词项与文档关联度的直观理解,一个词在文档中出现的越多则越重要,但是词项是不平等的文档中出现罕见词项的意义比常见词更大,因此就要取词项出现次数的倒数,词项在语料库中的分布式呈指数型的一个常用词出现次数往往是罕见词的数十倍,假如直接除以原始文档的频率则罕见词的权重就会过大,所以算法应对逆文档率取对数,让文档频率差别由乘数级变为加数级。 第三、由于spark MLlib库已…

2020-01-06 15:38 · 机器学习 · 评论(0)

Spark排错与优化

文章目录 一. 运维 1. Master挂掉,standby重启也失效 2. worker挂掉或假死 二. 运行错误 1.shuffle FetchFailedException 2.Executor&Task Lost 3.倾斜 4.OOM 5.task not serializable 6.driver.maxResultSize太小 7.taskSet too large 8. driver did not authorize commit 9. 环境报错 三. python错误 1.python版本过低 2.python权限不够 3.pickle使用失败 4.python编码错误 四…

2020-01-06 15:34 · 机器学习 · 评论(0)

Idea快捷键大全

Ctrl 快捷键介绍 Ctrl + F在当前文件进行文本查找 (必备) Ctrl + R在当前文件进行文本替换 (必备) Ctrl + Z撤销 (必备) Ctrl + Y删除光标所在行 或 删除选中的行 (必备) Ctrl + X剪切光标所在行 或 剪切选择内容 Ctrl + C复制光标所在行 或 复制选择内容 Ctrl + D复制光标所在行 或 复制选择内容,并把复制内容插入光标位置下面 (必备) Ctrl + W递进式选择代码块。可选中光标所在的单词或段落,连续按会在原有选中的基础上再扩展选中范围 (必备) Ctrl + E显示最近打开的文件记录列表 Ctrl + N根据输入的 类名 查…

2019-12-24 16:12 · 技术内容 · 评论(0)

Structured Streaming + Kafka 集成 + Redis管理Offset(Kafka broker version 0.10.0 or h

Google一下发现 Structured Streaming + Kafka集成,记录Offset的文章挺少的,我自己摸索一下,写了一个DEMO。Github地址 1. 准备 配置起始和结束的offset值(默认) Schema信息 读取后的数据的Schema是固定的,包含的列如下: ColumnType说明 keybinary信息的key valuebinary信息的value(我们自己的数据) topicstring主题 partitionint分区 offsetlong偏移值 timestamplong时间戳 timestampTypeint类型 example: val df = …

2019-12-24 16:07 · 大数据 · 评论(0)

Spark SQL数据类型

Spark SQL数据类型 数字类型 ByteType:代表一个字节的整数。范围是-128到127 ShortType:代表两个字节的整数。范围是-32768到32767 IntegerType:代表4个字节的整数。范围是-2147483648到2147483647 LongType:代表8个字节的整数。范围是-9223372036854775808到9223372036854775807 FloatType:代表4字节的单精度浮点数 DoubleType:代表8字节的双精度浮点数 DecimalType:代表任意精度的10进制数据。通过内部的java.math.BigDecimal支持。B…

2019-12-24 16:04 · 机器学习 · 评论(0)