互联网套餐（手机卡/流量卡）大全

发布于
套餐全表：https://www.zhihu.com/question/58178068/answer/155940595

此博客中的热门博文

各路 MySQL proxy 功能对比及性能评测

发布于
港真，写下这个文章题目的时候我自己都害怕，因为我对这些 proxy 完全不了解，而且我 TM 也没做过任何 MySQL 相关的性能测试 😂。凡事都有第一次，先列出四种 MySQL proxy ( MySQL Proxy / Atlas / MaxScale / ProxySQL ) 。 上述四个项目的主要目的都是作为代理将 MySQL 请求路由到后端 MySQL Server，从而做到读写分离，所以本文题目将它们统称为 MySQL proxy 。 MySQL Proxy 项目最早出现，并由 MySQL 组织维护，用 MySQL Proxy 作为项目的名字再自然不过了，本文用大小写区分两个术语，希望不会造成读者理解上的偏差。 各路 MySQL proxy 安装及简单使用 在 MySQL 主从复制实践 一文中，笔者给出了主从复制的配置过程，本文复用之前的主从拓扑结构，并在新节点上部署各个 proxy： Name ADDRESS OS MySQL master 10.0.63.202 CentOS7 Ver 14.14 Distrib 5.6.38 slave 10.0.63.203 CentOS7 Ver 14.14 Distrib 5.6.38 proxy 10.0.63.204 CentOS7 not necessary MySQL Proxy 从提交历史来看，MySQL Proxy 项目已不再维护，github 项目主页给出的文档链接提示 Page Not Found ，目前找到的最权威的文档是 mysql-proxy-en.pdf 。 EPEL 源中含有 MySQL Proxy 包，可直接使用 yum 进行安装： [ root@proxy ~]# yum list | grep mysql-proxy mysql-proxy.x86_64 0.8.5-2.el7 ...
阅读全文

天马模拟器整合前端v2.0

发布于
我们终于赶在春节假期前，把天马2.0（PC版）制作完成了！ 天马2.0制作小组，在此提前祝各位玩家新年快乐！玩的开心！   -----------------------------------------------------------   制作小组：挖坑者联盟 制作小组成员：Allen Wu  Andy  hellcamer  ken5457  风_空_海  龙哥  胖砸  想要简单 天马2.0 （PC 版）配置要求： 系统要求：目前仅在 win10 （ 64 位）的 PC 上测试通过，其他系统的 PC 请自行测试。 空间要求： PC 版前端及模拟器程序 + 游戏总数据约 115G ，游戏数据分平台提供，可按需下载。支持存放在内置硬盘、移动硬盘、外置 U 盘、外置 TF 卡等。 注意：由于PC版的游戏数据文件和安卓版通用，故不再重复提供。PC版仅提供应用程序文件及相关配置文件。 因此，PC版需下载天马2.0安卓版的“步骤2：数据文件”。 使用方法详见PC版教程。     -----------------------------------------------------------   天马2.0前端及其主题基于国外开发的免费前端软件Pegasus及其主题修改制作，在此感谢Pegasus前端的原作者。本前端的游戏资源，其中有多个平台是基于网友 @江西恐龙的游戏整合包为基础扩展制作，在此感谢 @江西恐龙的辛勤付出与支持！感谢网友 @zhuwz 大师长期以来提供的技术指导！感谢 @不填坑不舒服斯基 @追赶太阳 @哈-奇奇等热心网友在天马2.0制作过程中提供的各种帮助！ 天马2.0前端整合包是免费分享给广大复古游戏同好，仅可作为学习交流研究之用，请于下载后的24小时内删除。 严禁用于任何商业用途！ 引发任何的问题与纠纷，本制作组概不负责！整合内容均来源于网络共享资源，所有游戏及图片版权归其游戏公司所有，如有侵权请立即与制作组联系，将及时做删除处理。 任何资源贩卖、二次打包盈利性传播、在售机型的预装等商业行为，均属于个人行为，与本制作小组...
阅读全文

一个轻量级通用的数据同步方案

发布于
在不同的数据库系统之间做数据同步是大数据领域里常见的需求。一个典型的场景是，业务系统因为需要事务和随机查询，一般会使用 MySQL 这种数据库；数据仓库使用 Hive；ETL 之后的结果再放到 MySQL、AWS Redshift 等系统给 BI 和报表工具使用。 首先梳理一下需求和目标： 实时性：非实时，离线同步，一般为 T+1，或最细到小时粒度 扩展性：需要支持多种异构数据源，如 MySQL, Hive, ElasticSearch 等 性能要求：因为是离线系统，对性能要求无严格要求，但最好尽可能快，并有可能调优 复杂度：复杂度低，依赖少，易使用，易运维 功能要求：要满足全量同步和增量数据同步 解决方案 数据同步并不是一个特殊的问题，简化一下其实就是两个操作：读和写。与之类似的是数据库备份和恢复，很多数据库系统都自带这种工具，比如 MySQL 的 mysqldump 和 mysqlimport ，MongoDB 的 mongodump 和 mongorestore 等。这些工具一般为了性能而使用特殊的编码格式，不会考虑通用性。但一个通用的数据同步系统，可以采用同样的思路来实现。 上图描述的就是本文的解决方案，即把读写拆分，通过 CSV 文件来过度。 扩展性 这种设计的核心是把数据同步抽象成导出（读）和导入（写）两个过程，完全解耦，因此具有很好的扩展性。每种数据源只需要实现读写两种操作即可。以常见的数据源为例，看看分别如何实现从 CSV 导入数据（导出到 CSV 很容易，使用任意编程语言都可实现）。 数据源 导入 CSV MySQL 使用 LOAD DATA LOCAL INFILE 批量加载，或读取文件运行 INSERT 语句 AWS Redshift 以 AWS S3 为中转，使用 COPY 命令批量加载 Hive 建表时指定 Serde 为 org.apache.hadoop.hive.serde2.OpenCSVSerde ，或者在导入前把 CSV 先转换成默认的 TEXTFILE 格式；然后使用 LOAD DATA [LOCAL] INPATH 批量加载。 ElasticSearch 读取文件，批量插入 FTP, AWS S...
阅读全文

kubernetes中部署mysql高可用集群

发布于
很多软件后端使用的存储都是mysql，当这些软件系统在生产环境部署时，都会面临一个严峻问题，需要在生产环境中部署一个高可用的mysql集群服务。刚好在最近一周的工作中，需要在kubernetes环境中搭建mysql高可用集群，这里记录一下。 搭建MySQL集群 MySQL的主从半同步复制方案、Galera集群方案以前都也实践过，感觉都不是太友好，配置比较麻烦，而且发生故障转移时经常需要人工参与。所以这里还是采用MySQL官方推荐的Group Replication集群方案。关于MySQL Group Replication集群的架构设计可以看 官方文档 ，懒得看英文的话，也可以看我之前整理出的 资料 。另外kubedb网页上也有介绍 MySQL几种高可用方案的构架方案 ，也比较有意思。 之前的博文 也讲过在非容器环境搭建MySQL Group Replication集群，现在在Kubernetes的容器环境配合kubedb，搭建更方便了，命令如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 # 添加appscode的helm仓库 $ helm repo add appscode https://charts.appscode.com/stable/ $ helm repo update # 部署kubedb $ helm install appscode/kubedb --namespace kube-system --name kube...
阅读全文

如何去做code review

发布于
Google 前几天公开了一篇谷歌的工程实践文档。而且文档的内容都是跟 code review 相关的内容，里面包含了 Google 工程师如何进行 code review 的内容，以及 code review 指南。 原文地址: google.github.io/eng-practic… 本文的名词解释： cr: code review cl: change list，指这次改动 reviewer: cr的那个review人 nit: 全称nitpick，意思是鸡蛋里挑骨头 作者: 也就是本次CL的开发者，原文中是以author来称开发者的。以老外的思维，意思是“CL的作者” 如果嫌文章太长，可以直接到 后面 看总结 cr的标准 cr(Code review)主要目的在于确保Google 的代码库代码质量越来越好。而所有相关的工具与流程皆是因应这个目的而生。为达到此目的，势必需要做出一连串的权衡与取舍 首先，开发人员必须能够在自己负责的任务上有所进展。如果你从来没有向代码库提交改进过的代码，那么代码库就永远不会改进。另外，如果一个reviewer使cr都很难进行的话，那么开发人员就不愿意在将来进行改进。 另一方面，reviewer有责任确保每个change list（ 下称CL ）的质量，保证其代码库的整体代码质量不会越来越差。这可能很棘手，因为通常会随着时间的推移，代码需要降级才能让代码运行起来，特别是当团队受到严重的时间限制时，大家觉得必须走捷径才能实现他们的目标。 此外，reviewer对他们正在review的代码拥有所有权和责任。他们希望确保代码保持一致、可维护，以及下文的“ 在cr中可以得到什么 ”中提到的内容。 因此，我们有以下规则，作为我们在cr中所期望的标准： 一般来说，当CL存在的时候，reviewer应该赞成它，此时它肯定会提高正在工作的系统的整体代码质量，即使这个CL并不完美。这是所有cr中的首要原则。当然，这是有局限性的。例如，如果一个CL添加了一个reviewer不希望在其系统中使用的功能，那么reviewer当然可以拒绝，即使代码设计得很好。 这里的一个关键点是，没有“完美”的代码，只有更好的代码。reviewer不应该要求作者在approve之前对一篇文章的每一小段进行润色。相反，revie...
阅读全文

Kubernetes-部署高可用的MySQL

发布于
1 、MySQL简介 MySQL 是一个开源的关系型数据库管理系统，使用标准的sql语言，由瑞典 MySQL AB 公司开发，当前属于 Oracle 公司。能够 支持大型的数据库，可以处理上千万条的数据记录。可以运行于在Windows、Linux等多种系统上；支持C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等编程语言。对于32位系统，MySQL的表文件最大可支持4GB，对于64位系统，MySQL支持最大的表文件为8TB。 2 、MySQL的高可用方案 本文的MySQL高可用方案为主从复制+读写分离，即由单一的master和多个slave所构成。其中，客户端通过master对数据库进行写操作，通过slave端进行读操作。master出现问题后，可以将应用切换到slave端。 此方案是MySQL官方提供的一种高可用解决方案，节点间的数据同步采用MySQL Replication技术。 MySQL Replication从一个MySQL数据库服务器（master）的数据复制到一个或多个MySQL数据库服务器（slave）。在默认情况下，复制是异步的；slave不需要一直接收来自主机的更新。根据配置，可以复制数据库中的所有数据库、选定的数据库，或者特定的表。 MySQL中复制的优点包括： 扩容解决方案：在多个slave之间扩展负载以提高性能。在这种模式下，所有的写入和更新操作都必须在主服务器上进行。然而，读取操作通过slave镜像。该模型可以提高写入操作的性能，同时，也能够通过增加slave的节点数量，从而显著地提升读取速度。 数据安全：数据从master被复制到slave，并且slave可以暂停复制过程。因此，可以在不损坏master的情况下，在slave上运行备份服务。 分析：现场数据可以在master上创建，而对信息的分析可以在slave进行，而不影响master的性能。 远程数据分发：可以使用复制为远程站点创建本地数据的副本，而不必一直通过访问master。 此高可用的解决方案适用于对数据实时性要求不是特别严格的场景，在使用时可以通过廉价的硬件来扩展slave的节点数量，将读压力分散到多台slave的机器上面。此方案能够在很大的程度上解决数据库读取数据的压力瓶颈问题，这是因为在大多的应用系统中，读压力要比写压...
阅读全文

nginx中location的顺序(优先级)及rewrite规则写法

发布于
一、location正则写法 一个示例： location = / { # 精确匹配 / ，主机名后面不能带任何字符串 [ configuration A ] } location / { # 因为所有的地址都以 / 开头，所以这条规则将匹配到所有请求 # 但是正则和最长字符串会优先匹配 [ configuration B ] } location /documents/ { # 匹配任何以 /documents/ 开头的地址，匹配符合以后，还要继续往下搜索 # 只有后面的正则表达式没有匹配到时，这一条才会采用这一条 [ configuration C ] } location ~ /documents/Abc { # 匹配任何以 /documents/Abc 开头的地址，匹配符合以后，还要继续往下搜索 # 只有后面的正则表达式没有匹配到时，这一条才会采用这一条 [ configuration CC ] } location ^~ /images/ { # 匹配任何以 /images/ 开头的地址，匹配符合以后，停止往下搜索正则，采用这一条。 [ configuration D ] } location ~* \.(gif|jpg|jpeg)$ { # 匹配所有以 gif,jpg或jpeg 结尾的请求 # 然而，所有请求 /images/ 下的图片会被 config D 处理，因为 ^~ 到达不了这一条正则 [ configuration E ] } location /images/ { # 字符匹配到 /images/，继续往下，会发现 ^~ 存在 [ configuration F ] } location /images/abc { # 最长字符匹配到 /images/abc，继续往下，会发现 ^~ 存在 # F与G的放置顺序是没有关系的 [ configuration G ] } location ~ /images/abc/ { # 只有去掉 config D 才有效：先最长匹配 config G 开头的地址，继续往下搜索，匹配到这一条正则，采用 [ configuration H ] } l...
阅读全文

Inf-- kafka 从入门到放弃

发布于
概述 工作中用到了kafka ,本篇博文整理一下学习到的kafka相关知识，内容多来自网上（主要是官网doc,个人博客），侵删。 kafka 是Linkedin 使用Scala 编写的一个开源的分布式消息系统，当时开发的初衷是为了解决网站活动流数据（比如网页浏览，点击，驻留时间等等）的数据转发处理。因为活动流数据是实时且流量比较大，可想而知kafka 的最大特点就是高吞吐率且容易扩展。 kafka 的设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。 同时支持离线数据处理和实时数据处理。 Scale out：支持在线水平扩展。 使用场景 从不同的角度出发，kafka的作用也不同。 kafka作为一个消息系统，类比redis,rabbitmq等同类产品， kafka作为一个存储系统，因为进入kafak的消息都会被持久化所以可以作为一个存储系统， kafka作为一个流处理系统，对于流数据，可以在kafka里多次处理，多次流转。 相应的，kafka 的使用场景大致如下： 作为传统消息队列系统的替换。 做metric监控数据的收集处理。 做日志数据的收集处理。 流数据处理。 事件驱动架构的核心组件。 上图中可看出kafka的角色，相应的，kafka也提供了四种核心api: The Producer API allows an application to publish a stream of records to one or more Kafka topics. The Consumer API allows an application to subscribe to one or more topics and process the stream of records produced to them. The Streams API allows an application to act as a stream processor, consuming an input stream...
阅读全文

分布式定时任务对比

发布于
1. 什么是分布式定时任务 把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。叫做分布式定时任务。 2. 常见开源方案  elastic-job  ,  xxl-job ， quartz , saturn,  opencron ,  antares    elastic-job elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 ， 由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 。 Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。 Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案，额外提供资源治理、应用分发以及进程隔离等服务 亮点： 基于quartz 定时任务框架为基础的，因此具备quartz的大部分功能 使用zookeeper做协调，调度中心，更加轻量级 支持任务的分片 支持弹性扩容 ， 可以水平扩展 ， 当任务再次运行时，会检查当前的服务器数量，重新分片，分片结束之后才会继续执行任务 失效转移，容错处理，当一台调度服务器宕机或者跟zookeeper断开连接之后，会立即停止作业，然后再去寻找其他空闲的调度服务器，来运行剩余的任务 提供运维界面，可以管理作业和注册中心。 elastic-job结合了quartz非常优秀的时间调度功能，并且利用ZooKeeper实现了灵活的分片策略。除此之外，还加入了大量实用的监控和管理功能， 以及其开源社区活跃、文档齐全、代码优雅等优点，是分布式任务调度框架的推荐选择。 由于elastic-job-lite  不支持动态添加作业，此处仅贴上elastic-job-Cloud架构图   xxl-job 由个人开源的一个轻量级分布式任务调度框架 ，主要分为 调度中心和执行器两部分 ， 调度中心在启动初始化的时候，会默认生成执行器的RPC代理 对象（http协议调用）， 执行器项目启动之后， 调度中心在触发定时器之后通过jobHand...
阅读全文

电信家庭云路由器插件免费提速宽带至500M，上行50M

发布于
宽带免费提速至500M，上行50M方法 原理是通过天翼云实现，声明免费，不用开通天翼云会员并且没有时间限制。 1、获取token。（获取方法：登录账号，启动提速。应用根目录下有一个文件，文本打开) 2、以K2**子固件为例。用winscp登录路由器，导入speedup代码 导入目录：etc/storage/script下。文件名命名为：Sh27_speedup.sh 3、重启路由器，然后再登录路由器。进入扩展功能-搭建web环境-家庭云提速 再填入第一步获取的token。保存应用。 4、再重启路由进日志查看，提速成功有显示。理论永久可提速，第一小时自动运行一次代码。 另友情提示，电信官网有360一年的纯宽带（20M，上行4M）。可以免费提速到500M下，50M上行。 这第便宜的宽带，然后再搞台配置高点软路由开小鸡。 Sh27_speedup.sh： https://paste.ubuntu.com/p/Q5cXdhmTB8/ 提速工具： 电信上下行提速_随缘.zip
阅读全文