分布式定时任务对比

发布于

1. 什么是分布式定时任务

把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。叫做分布式定时任务。

2. 常见开源方案

 elastic-job , xxl-job ，quartz , saturn,  opencron , antares

 

 elastic-job

elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 ， 由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 。

Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。

Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案，额外提供资源治理、应用分发以及进程隔离等服务

亮点：

  1. 基于quartz 定时任务框架为基础的，因此具备quartz的大部分功能

  2. 使用zookeeper做协调，调度中心，更加轻量级

  3. 支持任务的分片

  4. 支持弹性扩容 ， 可以水平扩展 ， 当任务再次运行时，会检查当前的服务器数量，重新分片，分片结束之后才会继续执行任务

  5. 失效转移，容错处理，当一台调度服务器宕机或者跟zookeeper断开连接之后，会立即停止作业，然后再去寻找其他空闲的调度服务器，来运行剩余的任务

  6. 提供运维界面，可以管理作业和注册中心。

elastic-job结合了quartz非常优秀的时间调度功能，并且利用ZooKeeper实现了灵活的分片策略。除此之外，还加入了大量实用的监控和管理功能，

以及其开源社区活跃、文档齐全、代码优雅等优点，是分布式任务调度框架的推荐选择。

由于elastic-job-lite  不支持动态添加作业，此处仅贴上elastic-job-Cloud架构图

 

xxl-job

由个人开源的一个轻量级分布式任务调度框架 ，主要分为 调度中心和执行器两部分 ， 调度中心在启动初始化的时候，会默认生成执行器的RPC代理

对象（http协议调用）， 执行器项目启动之后， 调度中心在触发定时器之后通过jobHandle 来调用执行器项目里面的代码，核心功能和elastic-job差不多

，同时技术文档比较完善

系统架构图：

 

 quartz

quartz 的常见集群方案如下，通过在数据库中配置定时器信息， 以数据库悲观锁的方式达到同一个任务始终只有一个节点在运行，

 

优点：

  1. 保证节点高可用 （HA）， 如果某一个几点挂了， 其他节点可以顶上

缺点：

  1. 同一个任务只能有一个节点运行，其他节点将不执行任务，性能低，资源浪费

  2. 当碰到大量短任务时，各个节点频繁的竞争数据库锁，节点越多这种情况越严重。性能会很低下

  3. quartz 的分布式仅解决了集群高可用的问题，并没有解决任务分片的问题，不能实现水平扩展

 

 Saturn

 Saturn是唯品会在github开源的一款分布式任务调度产品。它是基于当当elastic-job 1.0版本来开发的，其上完善了一些功能和添加了一些新的feature。

 亮点：

  1. 支持多语言开发 python、Go、Shell、Java、Php。

  2. 管理控制台和数据统计分析更加完善

 缺点：

  1. 技术文档较少 ， 该框架是2016年由唯品会的研发团队基于elastic-job开发而来的

 

 

opencron 

一个功能完善真正通用的linux定时任务调度定系统,满足多种场景下各种复杂的定时任务调度,同时集成了linux实时监控,webssh,提供一个方便管理定时任务的平台

 

缺点：仅支持  kill任务， 现场执行，查询任务运行状态 等， 主要功能是着重于任务的修改和查询上。 不能动态的添加任务以及任务分片。

 

antares

优点：

  1. 一个任务仅会被服务器集群中的某个节点调度，调度机制基于成熟的 quartz
  2. 并行执行 ， 用户可通过对任务预分片，有效提升任务执行效率
  3. 失效转移
  4. 弹性扩容，在任务运行时，可以动态的加机器
  5. 友好的管理控制台

缺点：

  1. 不能动态的添加任务，仅能在控制台对任务进行触发，暂停，删除等操作
  2. 文档不多，开源社区不够活跃

系统架构图如下： 

 

4. 比较

此处列出了几个代表性的开源产品

feature

quartz

elastic-job-cloud

xxl-job

antares

opencron

依赖mysqljdk1.7+, zookeeper 3.4.6+ ,maven3.0.4+ ,mesosmysql ,jdk1.7+ , maven3.0+jdk 1.7+ , redis , zookeeperjdk1.7+ , Tomcat8.0+
HA多节点部署，通过竞争数据库锁来保证只有一个节点执行任务通过zookeeper的注册与发现，可以动态的添加服务器。 支持水平扩容集群部署集群部署—
任务分片—支持支持支持—
文档完善完善完善完善文档略少文档略少
管理界面无支持支持支持支持
难易程度简单较复杂简单一般一般
公司OpenSymphony当当网个人个人个人
高级功能—弹性扩容，多种作业模式，失效转移，运行状态收集，多线程处理数据，幂等性，容错处理，spring命名空间支持弹性扩容，分片广播，故障转移，Rolling实时日志，GLUE（支持在线编辑代码，免发布）,任务进度监控，任务依赖，数据加密，邮件报警，运行报表，国际化任务分片， 失效转移，弹性扩容 ，时间规则支持quartz和crontab ，kill任务， 现场执行，查询任务运行状态
缺点没有管理界面，以及不支持任务分片等。不适用于分布式场景需要引入zookeeper , mesos, 增加系统复杂度, 学习成本较高调度中心通过获取 DB锁来保证集群中执行任务的唯一性， 如果短任务很多，随着调度中心集群数量增加，那么数据库的锁竞争会比较厉害，性能不好。不支持动态添加任务不适用于分布式场景
使用企业大众化产品，对分布式调度要求不高的公司大面积使用36氪，当当网，国美，金柚网，联想，唯品会，亚信，平安，猪八戒大众点评，运满满，优信二手车，拍拍贷——

 来源：https://blog.csdn.net/u012394095/article/details/79470904

评论

发表评论

此博客中的热门博文

如何防止Cloudflare CDN背后的图片被盗连(Hotlink Protection)？

发布于
「Hotlink Protection」(直接链接保护)是经营网站经常需要去注意的一块，但为什么我们会需要「Hotlink Protection」呢？身为图文并茂的网络文章作家，最担心得就是自己的文章被别人整篇连文带图地拷贝粘贴到其它地方了。此时如果图片有套用「Hotlink Protection」的话，就可以让被盗用的图片在其它网站上「不被正常显示」出来，如此一来，就能使其它误入盗文页面的访客可以知道该篇文章是篇被盗用的文章。不同的网站架构有不同的「Hotlink Protection」的设置方式，如果您的网站有打开Cloudflare的CDN服务的话，可以参考这篇文章，来实现「Hotlink Protection」的功能。 我的网站服务器是用Nginx或Apache，难道不能直接对它们做设置吗？ 很遗憾，只要我们有激活Cloudflare的CDN服务，就无法有效地通过自己的服务器程序来设置Hotlink Protection。这是因为网页浏览器在打开您网站的图片时，会去链接Cloudflare的CDN服务器，而非我们自己的服务器，所以就算我们有在自己的服务器上制作Hotlink Protection的功能，也根本不会被触发到。 既然有Cloudflare CDN，为什么还要Hotlink Protection？被盗连的图，其流量不是不会算在我们头上吗？ 的确，有了Cloudflare CDN之后，就算图片被盗连，它主要也还是会去吃Cloudflare CDN服务器的流量。但是，您真的愿意让您文章中的图片原封不动地在盗文网站上显示出来吗？所以还是设置一下Hotlink Protection吧！ Cloudflare内置的Hotlink Protection开关 Cloudflare的控制后台中，其实就有提供一个一键套用Hotlink Protection的开关，只要打开来，就可以让有激活CDN功能的网域拥有Hotlink Protection的功能。这个开关藏在Cloudflare控制后台的「Scrape Shield」分页中。 这个Hotlink Protection一旦打开，整个有打开Cloudflare CDN服务的网域(包含子网域)下的图片链接，就只能在这整个网域(包含子网域)下打开，否则的话会直接回传HTTP的403
阅读全文

WireGuard+V2ray打造史上最安全隐匿且高速的内网穿透隧道

发布于
首先讲一下需求，其实需求简单无比， 那就是无论身处何时何地，只要有互联网，就可以访问内网资源 ，说得具体点，比如出差在外想访问家里NAS存储的文件，通过直接访问NAS的内网IP（比如192.168.2.10）就可以实现访问，就好像自己坐在家里一样 时代背景 传统的内网穿透方案只能实现某个端口的穿透，想换个端口又需要重新配置，而在本方案中，整个内网资源都是共享的，只需配置一次即可。缺点是需要一个 大带宽公网服务器 做转发（如果流量使用不大也可使用小带宽公网服务器），不做转发也需要一个公网服务器作为 信令服务器 交换各自IP做NAT打洞操作，但TCP打洞难度太大（需要 三次握手 ），一般是UDP打洞，但是UDP又会被 QoS ，而且打洞成功率还需要受NAT类型影响（Full Cone NAT打洞成功率高，且需要NAT两边都是该类型，简而言之该类型NAT会 记住内网主机出去的端口 ，如果NAT不记住，则端口全靠猜），所以话题绕回来了，想要稳定还是需要一个大带宽公网服务器做转发。 该方案简单来讲就是 WireGuard over WebSocket over HTTPS ，也是一种 UDP over TCP 的方案。那为什么这么简单的需求需要这么复杂的实现呢？因为需要大带宽公网服务器做转发，就牵扯出一些列问题，这里简单说一下时代背景： 国内商用带宽贵 ：因为国家政策要求民用带宽量大价低，所以运营商普遍用高价商宽补贴家庭带宽。首先，宽带是运营商管的，就是那三家垄断，国内网络基础设施只有三大运营商有资质建设，阿里云、腾讯云、华为云等数据中心都必须要跟运营商买带宽，价格没法谈，偏贵。所以想想为什么百度云要限速了吧，你下载1G的小电影所支持给运营商的带宽费用和百度支付的根本不在一个数量级。其次IP资源受美国控制，国内独立IP价格更贵。而海外的商用带宽却很便宜，因此大带宽公网服务器一般选择海外服务器，既然出国了，那出国流量都会受到婶查的影响。所以这是第二点背景 网X络X婶X茶 ：富强、民主、文明、和谐！@#￥#￥%...，这就需要我们满足 隐匿 的需求，隐匿其实是在安全层面之上的，不安全谈何隐匿。 运营商对UDP实施QoS ：因为WireGuard使用的是UDP，作者也说过使用UDP的一大原因是因为TCP over TCP性能太糟糕
阅读全文

Tailscale 开源版中文部署指南（支持无限设备数、自定义多网段 、自建中继等高级特性）

发布于
目前国家工信部在大力推动三大运营商发展 IPv6，对家用宽带而言，可以使用的 IPv4 公网 IP 会越来越少。有部分地区即使拿到了公网 IPv4 地址，也是个大内网地址，根本不是真正的公网 IP，访问家庭内网的资源将会变得越来越困难。 部分小伙伴可能会选择使用 frp 等针对特定协议和端口的内网穿透方案，但这种方案还是不够酸爽，无法访问家庭内网任意设备的任意端口。更佳的选择还是通过 VPN 来组建大内网。至于该选择哪种 VPN，毫无疑问肯定是 WireGuard，WireGuard 就是 VPN 的未来。 我已经不止一次向大家推荐使用 WireGuard 了，我累了，不想再讲了，你爱 JB 用辣鸡 OpenVPN 之类的就用吧，你开心就好。 WireGuard 相比于传统 VPN 的核心优势是没有 VPN 网关，所有节点之间都可以点对点（P2P）连接，也就是我之前提到的  全互联模式（full mesh） ，效率更高，速度更快，成本更低。 WireGuard 目前最大的痛点就是上层应用的功能不够健全，因为 WireGuard 推崇的是 Unix 的哲学，WireGuard 本身只是一个内核级别的模块，只是一个数据平面，至于上层的更高级的功能（比如秘钥交换机制，UDP 打洞，ACL 等），需要通过用户空间的应用来实现。 所以为了基于 WireGuard 实现更完美的 VPN 工具，现在已经涌现出了很多项目在互相厮杀。笔者前段时间一直在推崇  Netmaker ，它通过可视化界面来配置 WireGuard 的全互联模式，它支持 UDP 打洞、多租户等各种高端功能，几乎适配所有平台，非常强大。然而现实世界是复杂的，无法保证所有的 NAT 都能打洞成功，且 Netmaker 目前还没有 fallback 机制，如果打洞失败，无法 fallback 改成走中继节点。Tailscale 在这一点上比 Netmaker 高明许多，它支持 fallback 机制，可以尽最大努力实现全互联模式，部分节点即使打洞不成功，也能通过中继节点在这个虚拟网络中畅通无阻。 没错，我移情别恋了，从 Netmaker 阵营转向了 Tailscale，是渣男没错了。 Tailscale 是什么 Tailscale 是一种基于 WireGuard 的虚拟组网工具，和 Netmaker 类似， 最大的区
阅读全文

Blogger搭建国内可正常访问博客（超详细教程）

发布于
二、国内访问 Blogger 1 首先准备 请确认自己能够科学上网。 不会的话，我这里写有一篇教程： http://mooc1.chaoxing.com/zt/201723393.html 购买域名。没什么好讲的，各个地方都能买，我图便利，直接在阿里云买的域名。（同一个域名，在腾讯云买还要便宜点，不过因为我上一个域名就在阿里云买的，所以这次顺便就在阿里云买了） 2.设置解析 1.Blogger要求的设置 打开Blogger后台，找到设置—基本，Blogger 会提示你需要设置两个 CNAME 分别解析到 ghs.google.com 和 ***.dv.googlehosted.com (每一个人的都不一样) 为了 Blogger 可以在国内访问，我们不能直接按上述的解析。 我们得将第一个 CNAME 解析：记录类型： A 记录，主机记录：WWW，记录值由「ghs.google.com」改成 「国内可访问的 IP」 后面的一个CNAME 解析不变：记录类型：CNAME，主机记录：ai76xxxxxxxxxxx，记录值：gv-j5jxxxxxxxxxx 2. 寻找国内可访问的 IP 可以使用站长之家 Ping 工具：http://ping.chinaz.com/ 如下图所示，Ping检测：ghs.google.com 找一个国内可访问的 IP。 注意：香港的IP延迟虽然小，但是不行。 3.域名后台设置解析 打开阿里云控制台—域名—域名列表—解析，照第一步所说的那样样设置，如下图： 至此，域名解析设置完成，当然这样还不够，我们还得修改Blogger自带的博客模板。 备注：如果想要实现不带www访问 添加：记录类型： A 记录，主机记录：@，记录值同为找到的 「国内可访问的 IP」 如下图这样： 这样用 axutongxue.com 也可以访问我的博客了 4.启用https 之前大佬说在设置https时，不能直接设置： https://blog.iljw.me/2018/07/enable-blogger-https.html 不过现在blogger好像改了，按上面那样设置之后，我们就可以直接在Blogger后台开启https了
阅读全文

一些免费的云资源

发布于
云 IaaS指提供系统（可以自己选）或者储存空间之类的硬件，软件要自己手动装；PaaS提供软件/框架（可以自己选）；SaaS只能使用开发好的软件（卖软件本身）；BaaS一般类似于非关系数据库，但各家不通用，有时还有一些其它东西。 其他人的集合 https://github.com/ripienaar/free-for-dev https://github.com/AchoArnold/discount-for-student-dev https://github.com/qinghuaiorg/free-for-dev-zh   很久没更新了 https://github.com/vincenthou/free-for-china-dev   很久没更新了 https://github.com/ivmm/Student-resources https://www.freeforstudents.org/ https://github.com/255kb/stack-on-a-budget https://github.com/Ibexoft/awesome-startup-tools-list https://www.cokemine.com/ Paas https://www.heroku.com/   java go py docker https://www.pythonanywhere.com/   限制非常多，几乎就和虚拟主机差不多了，免费账户不允许访问白名单之外的网站。但好歹能提供一个自动https的web app https://cloud.google.com/appengine/docs/   标准环境有一点储存空间和流量，柔性环境(.NET)必须启用结算，且现在标准环境要启用一个API，也要求绑卡 https://fly.io/docs/pricing/   docker https://m3o.com/   go https://anvil.works/   py，前端Drag and Drop UI，后端和数据储存用的是该网站的库 https://www.kintohub.com/   node go py java php docker 免费3个实例但内存32MB？添加信用卡后每月免费$5 https://clustered.com/pri
阅读全文

玩客云编译 ArmBian 系统刷机

发布于
本文将介绍如何从零到一编译 Armbian 系统，适配这台设备的代码来源，并对玩客云小设备进行刷机。为之后的折腾做一个前置准备。 写在前面 最近有几个有趣的小想法想实践一下，希望使用低功耗、低成本的硬件跑一些持续性的独立的服务。最初的想法是入手一个树莓派得了，开发板尺寸小巧，资源丰富。然而搜索价格的时候发现最新版的树莓派，如果搭配上一些常用配件，加一个定制外壳，算下来成本几乎能和我之前的 NUC 裸机价格一较高下。 那么，有没有性价比更高的方案呢？ 为什么选择搭载 Amlogic S805 的玩客云 于是，目光就锁定到了同为 ARM 架构的廉价 SoC 上，前一阵群里有同学推荐过“玩客云”，搜索了一番，发现 虽然芯片其实是几年前的款，但是性能并不差，拥有一个千兆网口，并且机器自带一个金属外壳 。因为我 不需要使用 GPIO 接口 ，所以相比较树莓派而言，一套 50 元左右的小主机，性价比高非常多。 而且设备因为使用了廉价的 ARM 芯片，不光运行过程中的温度不算高，日常功耗也非常低。 玩客云采用的芯片方案是 Amlogic S805，和著名的 Hard Kernel 几年前推出过的开发板“ODROID-C1+”几乎完全一致。这个板子性能基本是树莓派3B的 两倍 ，前文中提到的玩客云的成本大概是目前二手树莓派3的1/5～1/6。 如果追求绝对的性能，在价格差不多的情况下，可以考虑入手搭载 S905 芯片的“电视盒子”，性能和最新的树莓派4相比也 不落下风 ，甚至在一些环节中性能高出不少。不过缺点嘛也是有的，目前这类机器受限于成本问题，很少有利于散热的金属外壳；因为性能更高，发热量也会更大。不过即便如此，综合成本也只是树莓派4的十几分之一。 系统选择及“源码溯源“ 相对于硬件而言，软件系统也非常重要。 拥抱 Linux 让我们的设备有了无穷的可能性，树莓派有 Raspberry Pi OS（Raspbian），玩客云则因为搭载了和 Hard Kernel 之前产品一致的 Soc ，所以可以使用 ArmBian。 在正式介绍如何为玩客云更换系统，以及编译一份干净的新版镜像之前，我要介绍一下这个系统的由来，因为这里有太多前人的无私贡献。 Armbian 官方代码 2014年末， Armbian 立项 ，或许是暴风雨来临之前的沉寂，
阅读全文

玩客云绝育方法

发布于
玩客云绝育方法 方法1：   1）.必须重启一下 玩客云   2）.马上删除 .onething_data 目录 下所有文件,必要时可使用工具或代码删除（我自己用代码写了一个程序循环删除所有目录文件 及所有子目录及文件）         要先重启玩客云，然后马上处理   自己做一个批处理，VB程序，自动循环所有目录改名   3）.马上将在其它地方创建好的 galaxy img文件复制过来   4）.马上创建一个test文件夹（这个也很重要）   5）.把galaxy img 换成文件 且设置只读（好像设置了属性不生效  好像对网络共享盘这样设置本身就没有用）    把test换成文件夹  （好像硬盘会一闪一闪，最好还是把这个改成常规 文件，这样没出现一闪一闪）但每隔20秒会修改test文件   6）.是否把硬盘弹出，直接接电脑再设置它的文件及文件夹权限呢？    用优盘接电脑的方式 来设置权限 （试过，设置为只读，但用samba找开，没有只读属性了）    应该要在玩客云的linux系统中设置才行   7）.dsymbol 这个文件是否要清掉呢。可能清掉 连不上网了       只要它不经常更新就行，但它重启一次会更新   8）.每隔20多秒，硬盘灯会闪，可能还是读写硬盘。但写不进去。这样硬盘也无法休眠     可能也要保证网络畅通及要心跳包。不能网络也连不到，但能否不读硬盘呢   9）目录 如何设置 系统  隐藏 只读，拒绝权限都不行，玩客云会自动变更        galaxy img  是.onething_data 目录下的一个子目录 ，玩客云会定时写入相关缓存信息
阅读全文

斐讯N1小钢炮Docker安装OpenWrt/LEDE做旁路由

发布于
前言： 如今很多路由器都支持第三方固件，大家也都纷纷将路由器刷成了 OpenWrt / LEDE ，梅林，Pandavan，高恪，潘多拉等固件来实现各自的一些目的。如： 去广告 多播叠加带宽 科学上网 挂机下载 KMS等 这些功能往往是在普通路由器的原版固件中没法实现的。既然大家已经有主路由可以刷第三方固件实现以上功能后，为什么又会有旁路有的需要呢？ 那自然是因为 旁路由 有它独到的好处。不知道大家有没有经历过以下的感受，当大家欢喜的在主路由上打开各种功能后，经过一段时间，总感觉代理速度不稳定，或者网络信号稳定等情况。这就是因为路由器本身的性能有限，你开的功能越多，它同时兼顾的东西就越多，自然就容易出现一些稀奇古怪的问题。这时候， 旁路由 就起到了它的作用。 我们用 旁路由 连接主路由，主路由关闭一切其它功能，只让它安心的拨号上网，发射WIFI信号，而一切杂七杂八的功能，都让 旁路由 来承担。 旁路由 同时也不用去做主路由的工作，它不需要拨号，不需要发射WIFI信号，它只需要做好它的科学、去广告的功能，这样就形成了一种各司其职的状态。如果你有一个很好的机场+上一个很高的带宽，通过这种配置，就可以进一步将它稳定的发挥出来。那么接下来，就让我们来看下，如果将斐讯N1小钢炮固件下使用Docker安装OpenWrt路由器固件作为 旁路由 ，充分发挥N1的作用。 步骤： 1、Docker安装及设置： 进入N1 小钢炮 管理后台，点击System选项，之后再点击Startup，在右侧往下拖，找到Docker的对应进程选项/etc/init.d/S60dockerd，把NO点为YES启用Docker，再点击左边的start，之后点击下面的SAVE保存 点击Apps-Other-Docker Setting-install Docker UI （没安装时默认为黄色，下图为已经安装完成后的显示） 等待Docker UI安装完成后，UI Running Status会显示2个绿色图白哦，点击第二个Docker UI进入Docker后台 首次进入设置你想要的用户名及密码，之后点击Local-Connet进入Docker管理界面 2、镜像拉取及设置： 使用 SSH 工具输入IP地址登录 小钢炮 （Windows使用Putt
阅读全文