IP，操作系统OS，国家，浏览器信息GIF展示图

发布于

图片URL：https://www.wieistmeineip.de/ip-address/

图片URL：https://www.mzwu.com/pic/20070121/ipimg/ipimg.asp

评论

发表评论

此博客中的热门博文

Blogger搭建国内可正常访问博客（超详细教程）

发布于
二、国内访问 Blogger 1 首先准备 请确认自己能够科学上网。 不会的话，我这里写有一篇教程： http://mooc1.chaoxing.com/zt/201723393.html 购买域名。没什么好讲的，各个地方都能买，我图便利，直接在阿里云买的域名。（同一个域名，在腾讯云买还要便宜点，不过因为我上一个域名就在阿里云买的，所以这次顺便就在阿里云买了） 2.设置解析 1.Blogger要求的设置 打开Blogger后台，找到设置—基本，Blogger 会提示你需要设置两个 CNAME 分别解析到 ghs.google.com 和 ***.dv.googlehosted.com (每一个人的都不一样) 为了 Blogger 可以在国内访问，我们不能直接按上述的解析。 我们得将第一个 CNAME 解析：记录类型： A 记录，主机记录：WWW，记录值由「ghs.google.com」改成 「国内可访问的 IP」 后面的一个CNAME 解析不变：记录类型：CNAME，主机记录：ai76xxxxxxxxxxx，记录值：gv-j5jxxxxxxxxxx 2. 寻找国内可访问的 IP 可以使用站长之家 Ping 工具：http://ping.chinaz.com/ 如下图所示，Ping检测：ghs.google.com 找一个国内可访问的 IP。 注意：香港的IP延迟虽然小，但是不行。 3.域名后台设置解析 打开阿里云控制台—域名—域名列表—解析，照第一步所说的那样样设置，如下图： 至此，域名解析设置完成，当然这样还不够，我们还得修改Blogger自带的博客模板。 备注：如果想要实现不带www访问 添加：记录类型： A 记录，主机记录：@，记录值同为找到的 「国内可访问的 IP」 如下图这样： 这样用 axutongxue.com 也可以访问我的博客了 4.启用https 之前大佬说在设置https时，不能直接设置： https://blog.iljw.me/2018/07/enable-blogger-https.html 不过现在blogger好像改了，按上面那样设置之后，我们就可以直接在Blogger后台开启https了 ...
阅读全文

从零开始学习iftop流量监控（找出服务器耗费流量最多的ip和端口）

发布于
一、iftop是什么 iftop是类似于top的实时流量监控工具。 作用：监控网卡的实时流量（可以指定网段）、反向解析IP、显示端口信息等 官网： http://www.ex-parrot.com/~pdw/iftop/ 二、界面说明 =>代表发送数据，<= 代表接收数据 TX：发送流量 RX：接收流量 TOTAL：总流量 Cumm：运行iftop到目前时间的总流量 peak：流量峰值 rates：分别表示过去 2s 10s 40s 的平均流量 三、常用参数 -i 指定需要检测的网卡， 如果有多个网络接口，则需要注意网络接口的选择，如：# iftop -i eth1 -B 将输出以byte为单位显示网卡流量，默认是bit -n 将输出的主机信息都通过IP显示，不进行DNS解析 -N 只显示连接端口号，不显示端口对应的服务名称 -F 显示特定网段的网卡进出流量 如iftop -F 192.168.85.0/24 -h 帮助，显示参数信息 -p 以混杂模式运行iftop，此时iftop可以用作网络嗅探器 ; -P 显示主机以及端口信息 -m 设置输出界面中最上面的流量刻度最大值，流量刻度分5个大段显示 如：# iftop -m 100M -f 使用筛选码选择数据包来计数 如iftop -f filter code -b 不显示流量图形条 -c 指定可选的配置文件 如iftop -c config file -t 使用不带ncurses的文本界面， 以下两个是只和-t一起用的： -s num num秒后打印一次文本输出然后退出，-t -s 60组合使用，表示取60秒网络流量输出到终端 -L num 打印的行数 -f 参数支持tcpdump的语法，可以使用各种过滤条件。 四、进入界面后的操作 一般参数 P 切换暂停/继续显示 h 在交互界面/状态输出界面之间切换 b 切换是否显示平均流量图形条 B 切换显示 2s 10s 和 40s 内的平均流量 T 切换是否显示每个连接的总流量 j/k 向上或向下滚动屏幕显示当前的连接信息 f 编辑筛选码 l 打开iftop输出过滤功能 ，如输入要显示...
阅读全文

一个轻量级通用的数据同步方案

发布于
在不同的数据库系统之间做数据同步是大数据领域里常见的需求。一个典型的场景是，业务系统因为需要事务和随机查询，一般会使用 MySQL 这种数据库；数据仓库使用 Hive；ETL 之后的结果再放到 MySQL、AWS Redshift 等系统给 BI 和报表工具使用。 首先梳理一下需求和目标： 实时性：非实时，离线同步，一般为 T+1，或最细到小时粒度 扩展性：需要支持多种异构数据源，如 MySQL, Hive, ElasticSearch 等 性能要求：因为是离线系统，对性能要求无严格要求，但最好尽可能快，并有可能调优 复杂度：复杂度低，依赖少，易使用，易运维 功能要求：要满足全量同步和增量数据同步 解决方案 数据同步并不是一个特殊的问题，简化一下其实就是两个操作：读和写。与之类似的是数据库备份和恢复，很多数据库系统都自带这种工具，比如 MySQL 的 mysqldump 和 mysqlimport ，MongoDB 的 mongodump 和 mongorestore 等。这些工具一般为了性能而使用特殊的编码格式，不会考虑通用性。但一个通用的数据同步系统，可以采用同样的思路来实现。 上图描述的就是本文的解决方案，即把读写拆分，通过 CSV 文件来过度。 扩展性 这种设计的核心是把数据同步抽象成导出（读）和导入（写）两个过程，完全解耦，因此具有很好的扩展性。每种数据源只需要实现读写两种操作即可。以常见的数据源为例，看看分别如何实现从 CSV 导入数据（导出到 CSV 很容易，使用任意编程语言都可实现）。 数据源 导入 CSV MySQL 使用 LOAD DATA LOCAL INFILE 批量加载，或读取文件运行 INSERT 语句 AWS Redshift 以 AWS S3 为中转，使用 COPY 命令批量加载 Hive 建表时指定 Serde 为 org.apache.hadoop.hive.serde2.OpenCSVSerde ，或者在导入前把 CSV 先转换成默认的 TEXTFILE 格式；然后使用 LOAD DATA [LOCAL] INPATH 批量加载。 ElasticSearch 读取文件，批量插入 FTP, AWS S...
阅读全文

kubernetes中部署mysql高可用集群

发布于
很多软件后端使用的存储都是mysql，当这些软件系统在生产环境部署时，都会面临一个严峻问题，需要在生产环境中部署一个高可用的mysql集群服务。刚好在最近一周的工作中，需要在kubernetes环境中搭建mysql高可用集群，这里记录一下。 搭建MySQL集群 MySQL的主从半同步复制方案、Galera集群方案以前都也实践过，感觉都不是太友好，配置比较麻烦，而且发生故障转移时经常需要人工参与。所以这里还是采用MySQL官方推荐的Group Replication集群方案。关于MySQL Group Replication集群的架构设计可以看 官方文档 ，懒得看英文的话，也可以看我之前整理出的 资料 。另外kubedb网页上也有介绍 MySQL几种高可用方案的构架方案 ，也比较有意思。 之前的博文 也讲过在非容器环境搭建MySQL Group Replication集群，现在在Kubernetes的容器环境配合kubedb，搭建更方便了，命令如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 # 添加appscode的helm仓库 $ helm repo add appscode https://charts.appscode.com/stable/ $ helm repo update # 部署kubedb $ helm install appscode/kubedb --namespace kube-system --name kube...
阅读全文

如何去做code review

发布于
Google 前几天公开了一篇谷歌的工程实践文档。而且文档的内容都是跟 code review 相关的内容，里面包含了 Google 工程师如何进行 code review 的内容，以及 code review 指南。 原文地址: google.github.io/eng-practic… 本文的名词解释： cr: code review cl: change list，指这次改动 reviewer: cr的那个review人 nit: 全称nitpick，意思是鸡蛋里挑骨头 作者: 也就是本次CL的开发者，原文中是以author来称开发者的。以老外的思维，意思是“CL的作者” 如果嫌文章太长，可以直接到 后面 看总结 cr的标准 cr(Code review)主要目的在于确保Google 的代码库代码质量越来越好。而所有相关的工具与流程皆是因应这个目的而生。为达到此目的，势必需要做出一连串的权衡与取舍 首先，开发人员必须能够在自己负责的任务上有所进展。如果你从来没有向代码库提交改进过的代码，那么代码库就永远不会改进。另外，如果一个reviewer使cr都很难进行的话，那么开发人员就不愿意在将来进行改进。 另一方面，reviewer有责任确保每个change list（ 下称CL ）的质量，保证其代码库的整体代码质量不会越来越差。这可能很棘手，因为通常会随着时间的推移，代码需要降级才能让代码运行起来，特别是当团队受到严重的时间限制时，大家觉得必须走捷径才能实现他们的目标。 此外，reviewer对他们正在review的代码拥有所有权和责任。他们希望确保代码保持一致、可维护，以及下文的“ 在cr中可以得到什么 ”中提到的内容。 因此，我们有以下规则，作为我们在cr中所期望的标准： 一般来说，当CL存在的时候，reviewer应该赞成它，此时它肯定会提高正在工作的系统的整体代码质量，即使这个CL并不完美。这是所有cr中的首要原则。当然，这是有局限性的。例如，如果一个CL添加了一个reviewer不希望在其系统中使用的功能，那么reviewer当然可以拒绝，即使代码设计得很好。 这里的一个关键点是，没有“完美”的代码，只有更好的代码。reviewer不应该要求作者在approve之前对一篇文章的每一小段进行润色。相反，revie...
阅读全文

Kubernetes-部署高可用的MySQL

发布于
1 、MySQL简介 MySQL 是一个开源的关系型数据库管理系统，使用标准的sql语言，由瑞典 MySQL AB 公司开发，当前属于 Oracle 公司。能够 支持大型的数据库，可以处理上千万条的数据记录。可以运行于在Windows、Linux等多种系统上；支持C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等编程语言。对于32位系统，MySQL的表文件最大可支持4GB，对于64位系统，MySQL支持最大的表文件为8TB。 2 、MySQL的高可用方案 本文的MySQL高可用方案为主从复制+读写分离，即由单一的master和多个slave所构成。其中，客户端通过master对数据库进行写操作，通过slave端进行读操作。master出现问题后，可以将应用切换到slave端。 此方案是MySQL官方提供的一种高可用解决方案，节点间的数据同步采用MySQL Replication技术。 MySQL Replication从一个MySQL数据库服务器（master）的数据复制到一个或多个MySQL数据库服务器（slave）。在默认情况下，复制是异步的；slave不需要一直接收来自主机的更新。根据配置，可以复制数据库中的所有数据库、选定的数据库，或者特定的表。 MySQL中复制的优点包括： 扩容解决方案：在多个slave之间扩展负载以提高性能。在这种模式下，所有的写入和更新操作都必须在主服务器上进行。然而，读取操作通过slave镜像。该模型可以提高写入操作的性能，同时，也能够通过增加slave的节点数量，从而显著地提升读取速度。 数据安全：数据从master被复制到slave，并且slave可以暂停复制过程。因此，可以在不损坏master的情况下，在slave上运行备份服务。 分析：现场数据可以在master上创建，而对信息的分析可以在slave进行，而不影响master的性能。 远程数据分发：可以使用复制为远程站点创建本地数据的副本，而不必一直通过访问master。 此高可用的解决方案适用于对数据实时性要求不是特别严格的场景，在使用时可以通过廉价的硬件来扩展slave的节点数量，将读压力分散到多台slave的机器上面。此方案能够在很大的程度上解决数据库读取数据的压力瓶颈问题，这是因为在大多的应用系统中，读压力要比写压...
阅读全文

nginx中location的顺序(优先级)及rewrite规则写法

发布于
一、location正则写法 一个示例： location = / { # 精确匹配 / ，主机名后面不能带任何字符串 [ configuration A ] } location / { # 因为所有的地址都以 / 开头，所以这条规则将匹配到所有请求 # 但是正则和最长字符串会优先匹配 [ configuration B ] } location /documents/ { # 匹配任何以 /documents/ 开头的地址，匹配符合以后，还要继续往下搜索 # 只有后面的正则表达式没有匹配到时，这一条才会采用这一条 [ configuration C ] } location ~ /documents/Abc { # 匹配任何以 /documents/Abc 开头的地址，匹配符合以后，还要继续往下搜索 # 只有后面的正则表达式没有匹配到时，这一条才会采用这一条 [ configuration CC ] } location ^~ /images/ { # 匹配任何以 /images/ 开头的地址，匹配符合以后，停止往下搜索正则，采用这一条。 [ configuration D ] } location ~* \.(gif|jpg|jpeg)$ { # 匹配所有以 gif,jpg或jpeg 结尾的请求 # 然而，所有请求 /images/ 下的图片会被 config D 处理，因为 ^~ 到达不了这一条正则 [ configuration E ] } location /images/ { # 字符匹配到 /images/，继续往下，会发现 ^~ 存在 [ configuration F ] } location /images/abc { # 最长字符匹配到 /images/abc，继续往下，会发现 ^~ 存在 # F与G的放置顺序是没有关系的 [ configuration G ] } location ~ /images/abc/ { # 只有去掉 config D 才有效：先最长匹配 config G 开头的地址，继续往下搜索，匹配到这一条正则，采用 [ configuration H ] } l...
阅读全文

Inf-- kafka 从入门到放弃

发布于
概述 工作中用到了kafka ,本篇博文整理一下学习到的kafka相关知识，内容多来自网上（主要是官网doc,个人博客），侵删。 kafka 是Linkedin 使用Scala 编写的一个开源的分布式消息系统，当时开发的初衷是为了解决网站活动流数据（比如网页浏览，点击，驻留时间等等）的数据转发处理。因为活动流数据是实时且流量比较大，可想而知kafka 的最大特点就是高吞吐率且容易扩展。 kafka 的设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。 同时支持离线数据处理和实时数据处理。 Scale out：支持在线水平扩展。 使用场景 从不同的角度出发，kafka的作用也不同。 kafka作为一个消息系统，类比redis,rabbitmq等同类产品， kafka作为一个存储系统，因为进入kafak的消息都会被持久化所以可以作为一个存储系统， kafka作为一个流处理系统，对于流数据，可以在kafka里多次处理，多次流转。 相应的，kafka 的使用场景大致如下： 作为传统消息队列系统的替换。 做metric监控数据的收集处理。 做日志数据的收集处理。 流数据处理。 事件驱动架构的核心组件。 上图中可看出kafka的角色，相应的，kafka也提供了四种核心api: The Producer API allows an application to publish a stream of records to one or more Kafka topics. The Consumer API allows an application to subscribe to one or more topics and process the stream of records produced to them. The Streams API allows an application to act as a stream processor, consuming an input stream...
阅读全文

分布式定时任务对比

发布于
1. 什么是分布式定时任务 把分散的，可靠性差的计划任务纳入统一的平台，并实现集群管理调度和分布式部署的一种定时任务的管理方式。叫做分布式定时任务。 2. 常见开源方案  elastic-job  ,  xxl-job ， quartz , saturn,  opencron ,  antares    elastic-job elastic-job 是由当当网基于quartz 二次开发之后的分布式调度解决方案 ， 由两个相对独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成 。 Elastic-Job-Lite定位为轻量级无中心化解决方案，使用jar包的形式提供分布式任务的协调服务。 Elastic-Job-Cloud使用Mesos + Docker(TBD)的解决方案，额外提供资源治理、应用分发以及进程隔离等服务 亮点： 基于quartz 定时任务框架为基础的，因此具备quartz的大部分功能 使用zookeeper做协调，调度中心，更加轻量级 支持任务的分片 支持弹性扩容 ， 可以水平扩展 ， 当任务再次运行时，会检查当前的服务器数量，重新分片，分片结束之后才会继续执行任务 失效转移，容错处理，当一台调度服务器宕机或者跟zookeeper断开连接之后，会立即停止作业，然后再去寻找其他空闲的调度服务器，来运行剩余的任务 提供运维界面，可以管理作业和注册中心。 elastic-job结合了quartz非常优秀的时间调度功能，并且利用ZooKeeper实现了灵活的分片策略。除此之外，还加入了大量实用的监控和管理功能， 以及其开源社区活跃、文档齐全、代码优雅等优点，是分布式任务调度框架的推荐选择。 由于elastic-job-lite  不支持动态添加作业，此处仅贴上elastic-job-Cloud架构图   xxl-job 由个人开源的一个轻量级分布式任务调度框架 ，主要分为 调度中心和执行器两部分 ， 调度中心在启动初始化的时候，会默认生成执行器的RPC代理 对象（http协议调用）， 执行器项目启动之后， 调度中心在触发定时器之后通过jobHand...
阅读全文