各路 MySQL proxy 功能对比及性能评测

发布于
港真，写下这个文章题目的时候我自己都害怕，因为我对这些 proxy 完全不了解，而且我 TM 也没做过任何 MySQL 相关的性能测试 😂。凡事都有第一次，先列出四种 MySQL proxy (MySQL Proxy / Atlas / MaxScale / ProxySQL) 。
上述四个项目的主要目的都是作为代理将 MySQL 请求路由到后端 MySQL Server，从而做到读写分离，所以本文题目将它们统称为 MySQL proxy。MySQL Proxy 项目最早出现，并由 MySQL 组织维护，用 MySQL Proxy 作为项目的名字再自然不过了，本文用大小写区分两个术语，希望不会造成读者理解上的偏差。

各路 MySQL proxy 安装及简单使用

在 MySQL 主从复制实践一文中，笔者给出了主从复制的配置过程，本文复用之前的主从拓扑结构，并在新节点上部署各个 proxy：
Name ADDRESS OS MySQL
master 10.0.63.202 CentOS7 Ver 14.14 Distrib 5.6.38
slave 10.0.63.203 CentOS7 Ver 14.14 Distrib 5.6.38
proxy 10.0.63.204 CentOS7 not necessary

MySQL Proxy
从提交历史来看，MySQL Proxy 项目已不再维护，github 项目主页给出的文档链接提示 Page Not Found，目前找到的最权威的文档是 mysql-proxy-en.pdf。
EPEL 源中含有 MySQL Proxy 包，可直接使用 yum 进行安装：
[root@proxy ~]# yum list | grep mysql-proxy
mysql-proxy.x86_64                      0.8.5-2.el7                    epel
mysql-proxy-devel.x86_64                0.8.5-2.el7                    epel
[root@proxy ~]# yum install -y mysql-proxy
[root@proxy ~]# mysql-proxy -V
mysql-proxy 0.8.5
  chassis: 0.8.5
  glib2: 2.36.3
  libevent: 2.0.21-stable
  LUA: Lua 5.1.4
    package.path: /usr/lib64/mysql-proxy/lua/?.lua
    package.cpath: /usr/lib64/mysql-proxy/lua/?.so
-- modules
  proxy: 0.8.5
运行 mysql-proxy --help-all 查看所有可用配置项，并创建配置文件：/etc/mysql-proxy.cnf (mod 0660)
[mysql-proxy]
## 注释不能跟在选项的后边 ##
# admin 用户名/密码，用于查看
admin-username = admin
admin-password = p4ssw0rd

admin-lua-script = /usr/lib64/mysql-proxy/lua/admin.lua
# 以守护进程运行
daemon = true
# 启动一个进程来监控 mysql-proxy 进程，如遇到 crash 监控进程会重启 mysql-proxy
keepalive = true
# 开启相应插件
plugins = proxy,admin

# 后端读写库地址
proxy-backend-addresses = 10.0.63.202:3306
# 后端只读库地址
proxy-read-only-backend-addresses = 10.0.63.203:3306

# 读写分离的脚本，每次连接都会调用该脚本，不利于性能
# wget https://raw.githubusercontent.com/mysql/mysql-proxy/mysql-proxy-0.8/lib/rw-splitting.lua
proxy-lua-script = /usr/lib64/mysql-proxy/lua/rw-splitting.lua

log-file = /var/log/mysql-proxy.log
# 日志级别
log-level = debug
启动及测试：
[root@proxy ~]# mysql-proxy --defaults-file=/etc/mysql-proxy.cnf
连接管理界面（4041端口），在任一台有 MySQL 客户端的机器上操作即可
➜  ~ mysql -h 10.0.63.204 --port 4041 -u admin -pp4ssw0rd
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.0.99-agent-admin

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> SELECT * FROM backends;
+-------------+------------------+---------+------+------+-------------------+
| backend_ndx | address          | state   | type | uuid | connected_clients |
+-------------+------------------+---------+------+------+-------------------+
|           1 | 10.0.63.202:3306 | up      | rw   | NULL |                 0 |
|           2 | 10.0.63.203:3306 | unknown | ro   | NULL |                 0 |
+-------------+------------------+---------+------+------+-------------------+
2 rows in set (0.00 sec)
测试代理功能则需要连接到4040端口
➜  ~ mysql -h 10.0.63.204 --port 4040 -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 13
Server version: 5.6.38-log MySQL Community Server (GPL)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>
MySQL Proxy 的强大的灵活性拜 Lua 引擎所赐。通过拦截客户端的请求或服务端的返回结果，进而使用 Lua 脚本来实现想要的结果，如上面配置的读写分离脚本(rw-splitting.lua)，感觉这个设计逻辑跟 OpenResty 神似。
Lua 脚本中用户可用的函数钩子如下：
1. connect_server()         客户端连接服务端时该函数被调用，可用于实现 Load Balance
2. read_handshake()         初始握手信息从服务端返回时该函数被调用
3. read_auth()              当客户端将授权信息(用户名、密码、默认数据库)提交给服务器进行身份认证时，将调用此函数
4. read_auth_result()       服务端返回身份认证结果时，将调用此函数
5. read_query()             每当客户端向服务器发送一个查询时，就会调用该函数
6. read_query_result()      当服务端返回查询结果时该函数会被调用
7. disconnect_client()
读者只需要对着 MySQL Proxy 项目给出的 examples 看几个例子就能大致明白其设计逻辑了。
mysql-proxy-en.pdf 明确表明 MySQL Proxy 0.8.5 版本依然是 Alpha 版，不应该在生产环境使用。
360/Atlas
Atlas 基于 MySQL Proxy(0.8.2) 修复了一些 bug 并进行了扩展，360 公司很多数据库业务会连接到 Atlas 平台，达到了百亿量级。
Atlas 在 github 上发布的 release 包没有 CentOS 7 相应版本，因此笔者直接从源码进行安装。
需要安装 glib-2.42.0 是从 DBProxy 安装手册那看到的
## 安装一些依赖
[root@proxy ~]# yum install -y mysql-devel jemalloc jemalloc-devel libevent-devel openssl-devel
## 安装 glib-2.42.0，centos7 默认的 glib 可能版本太高不被支持
[root@proxy ~]# wget http://pkgs.fedoraproject.org/repo/pkgs/mingw-glib2/glib-2.42.0.tar.xz/71af99768063ac24033ac738e2832740/glib-2.42.0.tar.xz
[root@proxy ~]# cd glib-2.42.0/
[root@proxy glib-2.42.0]# autoreconf -ivf
[root@proxy glib-2.42.0]# ./configure
[root@proxy glib-2.42.0]# make && make install
开始从源码安装 Atlas：
[root@proxy ~]# wget https://github.com/Qihoo360/Atlas.git
[root@proxy ~]# cd Atlas/
[root@proxy Atlas]# ./bootstrap.sh
[root@proxy Atlas]# make && make install
bootstrap.sh 中执行 ./configure 使用了 –prefix=/usr/local/mysql-proxy 选项，因此 altas 相关的文件都存储在 /usr/local/mysql-proxy 目录下。
Atlas 相对 MySQL Proxy 做了一些变动，所以配置项会有所不同（/usr/local/mysql-proxy/conf/test.cnf）：
[mysql-proxy]

# admin 用户名
admin-username = admin
# admin 密码
admin-password = p4ssw0rd
# 不需要配置 admin.lua 及 插件
# admin-lua-script = /usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua
# plugins = proxy,admin

# 以守护进程运行
daemon = true
# 启动一个进程来监控 mysql-proxy 进程，如遇到 crash 监控进程会重启 mysql-proxy
keepalive = true

# 处理事件的线程，一般设置为 CPU 核心数的两倍
event-threads = 4

# 实时日志记录，可设置为 ON/OFF/REALTIME
sql-log = REALTIME
# 只记录用时超过 10 ms 的查询，为了验证读写分离，可先不设置该选项，所有的查询都会写到日志
#sql-log-slow = 10

# Atlas监听的代理接口IP和端口
proxy-address = 0.0.0.0:1234
# Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345

charset = utf8

# 后端读写库地址
proxy-backend-addresses = 10.0.63.202:3306
# 后端只读库地址
proxy-read-only-backend-addresses = 10.0.63.203:3306
# 连接主从数据库所需用户名密码，使用 bin 目录下 `./encrypt mypassword`
pwds = root:RniWQKMXxQQ=

# 不需要设置读写分离的脚本
# proxy-lua-script = /usr/local/mysql-proxy/lib/mysql-proxy/lua/rw-splitting.lua

log-path = /usr/local/mysql-proxy/log
# 日志级别
log-level = debug
启动 Atlas（mysql-proxyd 是一个执行 mysql-proxy 的 shell 脚本）：
[root@proxy ~]# /usr/local/mysql-proxy/bin/mysql-proxyd test start
登录管理界面查看 Atlas 状态及可使用的命令：
➜  ~ mysql -h 10.0.63.204 -P2345 -uadmin -pp4ssw0rd
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.0.99-agent-admin

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select * from backends;
+-------------+------------------+-------+------+
| backend_ndx | address          | state | type |
+-------------+------------------+-------+------+
|           1 | 10.0.63.202:3306 | up    | rw   |
|           2 | 10.0.63.203:3306 | up    | ro   |
+-------------+------------------+-------+------+
2 rows in set (0.00 sec)

mysql> select * from help;
+----------------------------+---------------------------------------------------------+
| command                    | description                                             |
+----------------------------+---------------------------------------------------------+
| SELECT * FROM help         | shows this help                                         |
| SELECT * FROM backends     | lists the backends and their state                      |
| SET OFFLINE $backend_id    | offline backend server, $backend_id is backend_ndx's id |
| SET ONLINE $backend_id     | online backend server, ...                              |
| ADD MASTER $backend        | example: "add master 127.0.0.1:3306", ...               |
| ADD SLAVE $backend         | example: "add slave 127.0.0.1:3306", ...                |
| REMOVE BACKEND $backend_id | example: "remove backend 1", ...                        |
| SELECT * FROM clients      | lists the clients                                       |
| ADD CLIENT $client         | example: "add client 192.168.1.2", ...                  |
| REMOVE CLIENT $client      | example: "remove client 192.168.1.2", ...               |
| SELECT * FROM pwds         | lists the pwds                                          |
| ADD PWD $pwd               | example: "add pwd user:raw_password", ...               |
| ADD ENPWD $pwd             | example: "add enpwd user:encrypted_password", ...       |
| REMOVE PWD $pwd            | example: "remove pwd user", ...                         |
| SAVE CONFIG                | save the backends to config file                        |
| SELECT VERSION             | display the version of Atlas                            |
+----------------------------+---------------------------------------------------------+
16 rows in set (0.00 sec)
使用任一 MySQL 客户端连接到 Atlas（mysql -h 10.0.63.204 -P1234 -uroot -p），进行一些读写操作，可以在日志中验证读写分离（读可能发生在任一节点，写只发生在）：
[root@proxy ~]# tailf /usr/local/mysql-proxy/log/sql_test.log
[01/16/2018 03:23:23] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 2.357 "show databases"
[01/16/2018 03:23:41] C:10.0.63.153:64485 S:10.0.63.203:3306 OK 0.529 "SELECT DATABASE()"
[01/16/2018 03:23:41] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 1.205 "show databases"
[01/16/2018 03:23:41] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 0.650 "show tables"
[01/16/2018 03:24:06] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 0.933 "show tables"
[01/16/2018 03:24:11] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 0.945 "show tables"
[01/16/2018 03:24:17] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 0.969 "show tables"
[01/16/2018 03:24:31] C:10.0.63.153:64485 S:10.0.63.203:3306 OK 1.183 "select * from user"
[01/16/2018 03:25:08] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 1.591 "UPDATE `ums`.`user_device_phone` SET `system_version`='6.0.0.1' WHERE `device_id`='586c5f5220cf94f7f5599cc8ecea305f_android'"
[01/16/2018 03:25:35] C:10.0.63.153:64485 S:10.0.63.202:3306 OK 1.709 "UPDATE `ums`.`user_device_phone` SET `system_version`='6.0.0' WHERE `device_id`='586c5f5220cf94f7f5599cc8ecea305f_android'"
MaxScale
MaxScale 给我的第一感觉：文档好全啊！给人一种很舒服的感觉，相比起来 Atlas 让人有种年久失修的味道。MaxScale 提供 CenOS 7 rpm 安装包，安装也相对较简单。
[root@proxy ~]# wget https://downloads.mariadb.com/MaxScale/2.1.13/rhel/7/x86_64/maxscale-2.1.13-1.rhel.7.x86_64.rpm
[root@proxy ~]# rpm -ivh maxscale-2.1.13-1.rhel.7.x86_64.rpm
## 如果想查看包安装的具体位置，可以使用如下两条命令
[root@proxy ~]# rpm -qa | grep maxscale
maxscale-2.1.13-1.x86_64
[root@proxy ~]# rpm -ql maxscale-2.1.13-1.x86_64
对，这就安装好了。然后修改 MaxScale 的配置文件 /etc/maxscale.cnf
[maxscale]
threads=4

# Server definitions

[master]
type=server
address=10.0.63.202
port=3306
protocol=MySQLBackend

[slave]
type=server
address=10.0.63.203
port=3306
protocol=MySQLBackend

[Replication Monitor]
type=monitor
module=mysqlmon
servers=master,slave
user=root
passwd=11C5190BB4E13D66A50940AA3DC2DF7C
monitor_interval=10000

# Service definitions
# ReadWriteSplit documentation:
# https://github.com/mariadb-corporation/MaxScale/blob/2.1/Documentation/Routers/ReadWriteSplit.md

[Splitter Service]
type=service
router=readwritesplit
servers=master,slave
user=root
# 允许root用户连接，见 Ref 9
enable_root_user=1
passwd=11C5190BB4E13D66A50940AA3DC2DF7C
max_slave_connections=100%

# This service enables the use of the MaxAdmin interface
# MaxScale administration guide:
# https://github.com/mariadb-corporation/MaxScale/blob/2.1/Documentation/Reference/MaxAdmin.md

[MaxAdmin Service]
type=service
router=cli

# Listener definitions for the services
#
# These listeners represent the ports the
# services will listen on.
#

[Splitter Listener]
type=listener
service=Splitter Service
protocol=MySQLClient
# 使用IPv4, 非必需，见 Ref 8
# address=0.0.0.0
port=4006

[MaxAdmin Listener]
type=listener
service=MaxAdmin Service
protocol=maxscaled
socket=default
上述配置的含义这里不解释了，需要对 MaxScale 的基本概念有一定的理解。另外要注意的是上面的密码由 maxpasswd 生成，当启动 MaxScale 会去解密这个密码，这时候需要从 /var/lib/maxscale/.secrets 文件读取秘钥，如果生成这个秘钥文件的时候使用的是 root 用户，需要更改这个文件的 owner：
[root@proxy ~]# maxkeys
[root@proxy ~]# chown maxscale:maxscale /var/lib/maxscale/.secrets
[root@proxy ~]# maxpasswd mysql_password
11C5190BB4E13D66A50940AA3DC2DF7C
启动 MaxScale 服务并使用 maxadmin 查看状态：
[root@proxy ~]# systemctl start maxscale
[root@proxy ~]# maxadmin list services
Services.
--------------------------+-------------------+--------+----------------+-------------------
Service Name              | Router Module     | #Users | Total Sessions | Backend databases
--------------------------+-------------------+--------+----------------+-------------------
Splitter Service          | readwritesplit    |      1 |              1 | master, slave
MaxAdmin Service          | cli               |      2 |              2 |
--------------------------+-------------------+--------+----------------+-------------------

[root@proxy ~]# maxadmin list servers
Servers.
-------------------+-----------------+-------+-------------+--------------------
Server             | Address         | Port  | Connections | Status
-------------------+-----------------+-------+-------------+--------------------
master             | 10.0.63.202     |  3306 |           0 | Master, Running
slave              | 10.0.63.203     |  3306 |           0 | Slave, Running
-------------------+-----------------+-------+-------------+--------------------
[root@proxy ~]# maxadmin list listeners
Listeners.
---------------------+---------------------+--------------------+-----------------+-------+--------
Name                 | Service Name        | Protocol Module    | Address         | Port  | State
---------------------+---------------------+--------------------+-----------------+-------+--------
Splitter Listener    | Splitter Service    | MySQLClient        | *               |  4006 | Running
MaxAdmin Listener    | MaxAdmin Service    | maxscaled          | default         |     0 | Running
---------------------+---------------------+--------------------+-----------------+-------+--------
注：MaxAdmin 支持动态添加MySQL Server
使用 MySQL 客户端连接 4006 端口：
➜  ~ mysql -h 10.0.63.204 --port 4006 -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 51771
Server version: 5.5.5-10.0.0 2.1.13-maxscale MySQL Community Server (GPL)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>
ProxySQL
ProxySQL 官网上说它比 MaxScale 强大，虽然文档的质量比 MaxScale 差了点，但它的 Star 数却是 MaxScale 的两倍。ProxySQL 也提供了主流发行版的源及二进制安装包。
同 MaxScale 一样，这里使用 rpm 安装包进行安装：
[root@proxy ~]# wget https://github.com/sysown/proxysql/releases/download/v1.4.4/proxysql-1.4.4-1-centos7.x86_64.rpm
## 安装依赖包
[root@proxy ~]# yum install "perl(DBD::mysql)"
[root@proxy ~]# rpm -ivh proxysql-1.4.4-1-centos7.x86_64.rpm
[root@proxy ~]# service proxysql start
Starting ProxySQL: DONE!
与 MaxScale 不同，ProxySQL 鼓励直接在命令接口来进行配置，而不是修改配置文件然后重启，这得益于 ProxySQL 独有的 Multi layer configuration system， 所以上面安装完了就直接启动了。当然它也有配置文件：/etc/proxysql.cnf。
通过命令接口配置读写分离：
[root@proxy ~]# mysql -u admin -padmin -h 127.0.0.1 -P6032 --prompt='Admin> '
Warning: Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.5.30 (ProxySQL Admin Module)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

Admin>
ProxySQL 的全局配置都在 global_variables 表中。
Admin> set mysql-server_version='5.6.38';
Query OK, 1 row affected (0.00 sec)

Admin> select * from global_variables where variable_name in ('mysql-threads');
+---------------+----------------+
| variable_name | variable_value |
+---------------+----------------+
| mysql-threads | 4              |
+---------------+----------------+
1 row in set (0.00 sec)
增加 MySQL 服务器（group0: write; group1: read）：
Admin> insert into mysql_servers(hostgroup_id, hostname, port) values (1, '10.0.63.202', 3306);
Query OK, 1 row affected (0.00 sec)

Admin> insert into mysql_servers(hostgroup_id, hostname, port) values (1, '10.0.63.203', 3306);
Query OK, 1 row affected (0.00 sec)

Admin> insert into mysql_servers(hostgroup_id, hostname, port) values (0, '10.0.63.202', 3306);
Query OK, 1 row affected (0.00 sec)

Admin> select * from mysql_servers;
+--------------+-------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+
| hostgroup_id | hostname    | port | status | weight | compression | max_connections | max_replication_lag | use_ssl | max_latency_ms | comment |
+--------------+-------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+
| 1            | 10.0.63.202 | 3306 | ONLINE | 1      | 0           | 1000            | 0                   | 0       | 0              |         |
| 1            | 10.0.63.203 | 3306 | ONLINE | 1      | 0           | 1000            | 0                   | 0       | 0              |         |
| 0            | 10.0.63.202 | 3306 | ONLINE | 1      | 0           | 1000            | 0                   | 0       | 0              |         |
+--------------+-------------+------+--------+--------+-------------+-----------------+---------------------+---------+----------------+---------+
3 rows in set (0.00 sec)
在表 mysql_query_rules 中添加读规则：
# 注意 select 规则的 apply 值为 0
Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^select',1,0);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^show',1,1);
Query OK, 1 row affected (0.00 sec)
在表 mysql_query_rules 中添加写规则：
Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^SELECT.*FOR UPDATE',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^update',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^truncate',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^savepoint',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^revoke',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^restore',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^reset',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^repair',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^rename',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^purge',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^lock',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^kill',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^grant',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^load',0,1);
Query OK, 1 row affected (0.00 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^flush',0,1);
Query OK, 1 row affected (0.01 sec)

Admin> INSERT INTO mysql_query_rules(active,match_pattern,destination_hostgroup,apply) VALUES(1,'^alter',0,1);
Query OK, 1 row affected (0.00 sec)
定义 read/write hostgroups：
Admin> INSERT INTO mysql_replication_hostgroups (writer_hostgroup, reader_hostgroup) VALUES (0, 1);
Query OK, 1 row affected (0.00 sec)
添加访问后端的用户名密码：
Admin> insert into mysql_users(username, password) values ('root', 'password');
Query OK, 1 row affected (0.00 sec)
由于 ProxySQL 的多层配置系统，想要配置生效和持久化，需要运行如下命令：
Admin> LOAD MYSQL USERS TO RUNTIME;
Query OK, 0 rows affected (0.00 sec)

Admin> LOAD MYSQL SERVERS TO RUNTIME;
Query OK, 0 rows affected (0.00 sec)

Admin> LOAD MYSQL VARIABLES TO RUNTIME;
Query OK, 0 rows affected (0.00 sec)

Admin> LOAD MYSQL QUERY RULES TO RUNTIME;
Query OK, 0 rows affected (0.00 sec)

Admin> SAVE MYSQL USERS TO DISK;
Query OK, 0 rows affected (0.00 sec)

Admin> SAVE MYSQL SERVERS TO DISK;
Query OK, 0 rows affected (0.01 sec)

Admin> SAVE MYSQL VARIABLES TO DISK;
Query OK, 93 rows affected (0.00 sec)

Admin> SAVE MYSQL QUERY RULES TO DISK;
Query OK, 0 rows affected (0.00 sec)
然后就可以使用 MySQL 客户端来访问 ProxySQL 了：
➜  ~ mysql -h10.0.63.204 -P6033 -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.5.30 (ProxySQL)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>
做一些操作，然后在 Proxy 的命令接口验证读写分离：
Admin> SELECT hostgroup hg, sum_time, count_star, digest_text FROM stats_mysql_query_digest ORDER BY sum_time DESC;
+----+----------+------------+-----------------------------------------------------------------------------+
| hg | sum_time | count_star | digest_text                                                                 |
+----+----------+------------+-----------------------------------------------------------------------------+
| 0  | 50006823 | 8          | show databases                                                              |
| 0  | 10001161 | 2          | SELECT DATABASE()                                                           |
| 0  | 7995955  | 2          | show databases                                                              |
| 0  | 6477     | 3          | UPDATE `ums`.`user_device_phone` SET `system_version`=? WHERE `device_id`=? |
| 0  | 6253     | 5          | show databases                                                              |
| 0  | 3358     | 2          | select * from ums.user                                                      |
| 0  | 3024     | 4          | show tables                                                                 |
| 1  | 2338     | 1          | show tables                                                                 |
| 1  | 2218     | 1          | show databases                                                              |
| 1  | 1345     | 1          | show databases                                                              |
| 1  | 1311     | 1          | show databases                                                              |
| 0  | 1303     | 1          | show tables                                                                 |
| 1  | 1187     | 1          | select * from ums.user                                                      |
| 0  | 1110     | 1          | select * from user                                                          |
| 0  | 974      | 2          | show ums.tables                                                             |
| 1  | 954      | 1          | show tables                                                                 |
| 1  | 813      | 1          | select * from ums.users                                                     |
| 0  | 543      | 1          | SELECT DATABASE()                                                           |
| 1  | 516      | 1          | SELECT DATABASE()                                                           |
| 1  | 497      | 1          | SELECT DATABASE()                                                           |
| 0  | 0        | 3          | select @@version_comment limit ?                                            |
+----+----------+------------+-----------------------------------------------------------------------------+
21 rows in set (0.00 sec)
如上就是对四种 MySQL proxy 的安装及简单使用。

各路 MySQL proxy 特性支持对比

由于 MySQL Proxy 官方不建议使用在生产环境，因此这里的特性对比将其忽略。
Feature Atlas MaxScale ProxySQL
Star(20180115)   3274    767   1586
文档   3分    5分   4分
项目活跃度   3分    4分   4.5分
高可用 与LVS并用 Pacemaker/Corosync ProxySQL Cluster
企业支持      ✅  
并发处理 线程池    epoll  线程池
读写分离   ✅      ✅    ✅  
负载均衡 支持权重 支持权重 支持设置hostgroup中Server的权重
失败重启   ✅      ✅    ✅  
IP 过滤   ✅   通过设置用户权限 通过设置用户权限
分库查询   ✅      ✅    ✅  
在线配置   ✅      ✅    ✅  

以上就是笔者对三个常用 MySQL proxy 特性的简单对比，可以看出，虽然 MaxScale 和 [ProxySQL][proxy] 项目的 ✨ 不如 Atlas 多，但是就文档的标准程度和项目的活跃度来说，Atlas 就显得有点逊色了。如果单从上面的特性对比来做技术选型，笔者更倾向与后两者。
ProxySQL 官网有关于 MaxScale 和 ProxySQL 详细的特性对比，读者不妨一看：Compare。

性能测试

测试拓扑结构如下图所示，由于使用的端口不一样，三个 MySQL proxy 都运行在同一台 Proxy Server 上，
Topology
端口使用情况如下：
/ Atlas MaxScale ProxySQL
admin port 2345 unix socket 6032
proxy port 1234 4006 6033

使用 sysbench 进行测试，由于上图中的机器都不是独占的，在进行测试的时候可能会有很多其它程序运行在机器之上，因此这里不会列出机器的配置，三个 MySQL proxy 连接的是同一组 MySQL 主从库，且事件处理线程都设置为4，本文通过测试来对三个程序做一个横向的对比，不涉及性能损耗的测试，就酱。🤔
首先创建数据库，连接任何一个 proxy 做如下操作：
mysql> create database sbtest;
Query OK, 1 row affected (0.01 sec)
准备测试数据
准备数据也是任一连一个 proxy 然后将测试数据写入到上面的新创建的 sbtest 数据库(sysbench 默认使用 sbtest 库进行测试)：
➜  ~ sysbench --db-driver=mysql --table-size=100000 --tables=24 --threads=4 \
--mysql-host=10.0.63.204 --mysql-port=4006 --mysql-user=root --mysql-password=sqlpassword \
oltp_read_write prepare
sysbench 1.0.11 (using bundled LuaJIT 2.1.0-beta2)

Initializing worker threads...

Creating table 'sbtest2'...Creating table 'sbtest1'...Creating table 'sbtest3'...


Creating table 'sbtest4'...
Inserting 100000 records into 'sbtest1'
Inserting 100000 records into 'sbtest4'
Inserting 100000 records into 'sbtest2'
...
进行测试：
## Atlas

➜  ~ sysbench --db-driver=mysql --table-size=200000 --tables=24 --threads=4 --time=120 \
--mysql-host=10.0.63.204 --mysql-port=1234 --mysql-user=root --mysql-password=mysql_password \
 oltp_read_write run
sysbench 1.0.11 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 4
Initializing random number generator from current time


Initializing worker threads...

Threads started!

SQL statistics:
    queries performed:
        read:                            98840
        write:                           28240
        other:                           14120
        total:                           141200
    transactions:                        7060   (58.80 per sec.)
    queries:                             141200 (1176.08 per sec.)
    ignored errors:                      0      (0.00 per sec.)
    reconnects:                          0      (0.00 per sec.)

General statistics:
    total time:                          120.0577s
    total number of events:              7060

Latency (ms):
         min:                                 42.58
         avg:                                 68.00
         max:                                251.61
         95th percentile:                    155.80
         sum:                             480113.03

Threads fairness:
    events (avg/stddev):           1765.0000/7.18
    execution time (avg/stddev):   120.0283/0.01


## MaxScale

➜  ~ sysbench --db-driver=mysql --table-size=200000 --tables=24 --threads=4 --time=120 \
--mysql-host=10.0.63.204 --mysql-port=4006 --mysql-user=root --mysql-password=mysql_password \
 oltp_read_write run
sysbench 1.0.11 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 4
Initializing random number generator from current time


Initializing worker threads...

Threads started!

SQL statistics:
    queries performed:
        read:                            118734
        write:                           33924
        other:                           16962
        total:                           169620
    transactions:                        8481   (70.65 per sec.)
    queries:                             169620 (1413.05 per sec.)
    ignored errors:                      0      (0.00 per sec.)
    reconnects:                          0      (0.00 per sec.)

General statistics:
    total time:                          120.0358s
    total number of events:              8481

Latency (ms):
         min:                                 39.88
         avg:                                 56.60
         max:                                459.62
         95th percentile:                     68.05
         sum:                             480038.36

Threads fairness:
    events (avg/stddev):           2120.2500/15.94
    execution time (avg/stddev):   120.0096/0.01


## ProxySQL

# 测试遇到错误，已提交 ISSUE
# https://github.com/sysown/proxysql/issues/1337

# ---- 20180118 更新 ---- #
# 上面的 issue 已经确认，是准备数据的时候主从库同步的时候有延迟

➜  ~ sysbench --db-driver=mysql --table-size=200000 --tables=24 --threads=4 --time=120 \
--mysql-host=10.0.63.204 --mysql-port=6033 --mysql-user=root --mysql-password=mysql_password \
 oltp_read_write run
sysbench 1.0.11 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 4
Initializing random number generator from current time


Initializing worker threads...

Threads started!

SQL statistics:
    queries performed:
        read:                            99190
        write:                           28340
        other:                           14170
        total:                           141700
    transactions:                        7085   (59.01 per sec.)
    queries:                             141700 (1180.18 per sec.)
    ignored errors:                      0      (0.00 per sec.)
    reconnects:                          0      (0.00 per sec.)

General statistics:
    total time:                          120.0646s
    total number of events:              7085

Latency (ms):
         min:                                 45.78
         avg:                                 67.77
         max:                                267.51
         95th percentile:                    102.97
         sum:                             480133.57

Threads fairness:
    events (avg/stddev):           1771.2500/11.84
    execution time (avg/stddev):   120.0334/0.02
多次测试结果显示在性能上 MaxScale 要更胜一筹，且 MaxScale 的可配置性介于 Atlas 和 ProxySQL 之间，社区比较活跃，所以如果做技术选型的话笔者会首选 MaxScale。
20180124 更新
在实际使用 MaxScale 的过程中遇到了所有的查询都路由到 master 节点的问题，原因在于 MaxScale 的一些限制：
Read queries are routed to the master server in the following situations:

    if they are executed inside an open transaction

    in case of prepared statement execution

    statement includes a stored procedure, or an UDF call

    if there are multiple statements inside one query e.g. INSERT INTO ... ; SELECT LAST_INSERT_ID();
我们在使用 JPA 的时候使用的都是 prepared statement，因此会被 MaxScale 全部路由到 master。 笔者在 MaxScale 邮件列表中询问了此问题: Limitations in the Read/Write Splitter，也得到了开发者的回答，在之后发布的 MaxScale 2.2 版本 prepared statement 会像正常查询一样被分流到不同节点。

Reference:
1 mysql-proxy-en.pdf
2 Intro to MySQL Proxy
3 Simple database load balancing with MySQL Proxy
4 MySQL Proxy tutorial
5 MaxScale - Do we need another MySQL proxy?
6 High availability with asynchronous replication… and transparent R/W split
7 Read/Write Splitting with MariaDB Replication
8 MariaDB MaxScale 2.1 defaulting to IPv6
9 Install troubleshooting
10 ProxySQL之读写分离与分库路由演示
11 Mysql read/write splitting with Proxysql
12 sysbench 1.0: teaching old dog new tricks

来源：https://zhjwpku.com/2018/01/16/mysql-proxy-alternatives.html

评论

发表评论

此博客中的热门博文

近期折腾 tailscale 的一些心得

发布于
一、我的需求 最近自己装了一台高配台式机，打算当作自己的主力机器使用，笔记本电脑就作为一个移动 UI，工作都远程连到家里台式机使用。 为了满足这个需求，就需要 NAT 穿透，正好最近 mesh vpn 的概念很火，又看到 tailscale 正好对个人用户免费，于是就想试试看了。 二、TailScale 是什么 VPN 是什么？ 虽然国人看到 VPN 第一反应应该是“翻墙”，但 VPN 最初应该也是最普遍的用途应该是用来做内网打通， 这也是其名字虚拟私有网络的用意，VPN 让你可以在公开的网络线路上建立一个私有的子网， 然后将所有接入的机器都分配一个私有的内网地址，让他们可以通过 VPN 的私有网络互联。 比如最常见的需求就是，公司有一个内网办公环境，当你外出办公时，也希望你的电脑能够接入办公网络。 因为外网的机器和内网的机器不能互联，所以一般会有一个中心服务器， 所有的子节点都和中心服务器相连，然后中心服务器转发所有的流量。 这样做的缺点显而易见，首先是中心服务器（hub）会成为瓶颈。 其次，某种极端情况下，如果节点 A 和 节点 B 距离非常近，但是都离 hub 很远， 这样就会导致非常高的延迟。 那么我们就会想，能不能让节点间直接互联呢？ 这就是 mesh VPN，其实现就是 wireguard。 wireguard 的每一个节点都会存储其他所有节点的信息，并且和其他所有的节点都建立 tls 连接。 如果涉及到内网穿透的话，那么你需要找到一台处于网关位置的节点（内外网都可达），将其设置为 coordinator， 扮演类似于 hub 的角色， 分发穿透内外网的流量。 wireguard 的缺点在于： 配置比较繁琐 维护也比较困难，增删节点都需要改动所有节点的配置 基于上述这些痛点，tailscale 做了一些改进： 在原有的 ICE、STUN 等 UDP 协议外，实现了 DERP TCP 协议来实现 NAT 穿透 基于公网的 coordinator 服务器下发 ACL 和配置，实现节点动态更新 通过第三方（如 Google） SSO 服务生成用户和私钥，实现身份认证 简而言之，我们可以认为 tailscale 是更为易用版的、功能封装更为完善的 wireguard。 三、TailScale 能做到什么 只要你的机器可以连到公网，tailscale 可以让所有的...
阅读全文

高可用用户中心设计

发布于
概述 我们公司现在的账户体系比较混乱，每个系统都有一套自己的账户体系，没有办法进行统一的账户管理，比如统计一个人在哪个系统有账号，这样操作是比较麻烦的，还有就是我们如何进行用户行为分析，最终综合用户的信息进行用户的画像。这些都是需要解决的问题。 常规的用户设计是统一账号和统一登录验证，统一注册等信息。但是结合我们公司的实际，发现这样的话我们的系统可能会出问题，我们无法屏蔽很多细节。我们的现状是： 系统需要向用户隐藏是同一个公司的这个事实。也就是说我们做了用户中心的设计，但是不能让用户感知这个系统的存在。也就是说多个系统之间的登录都是需要隔离的。离论上不能做统一账号的登录，但是可以做统一账号的验证。 同一个系统可能有多个马甲app，我想马甲app之间也需要登录隔离，虽然他们调用的是同一个后台系统，那么我们不得不面对一个问题，同一个用户同时下单的逻辑处理，需要后台做这种处理，否则就会出现严重的并发错误，而开发人员可能都没有注意到这个事实的存在，从而导致一些稀奇古怪的事情出现。 web端与app端应该是需要同时登录的，我们好像没有web的要求，但是好像有微信的web端的事情。假如我们有web端的登录，那么问题来了，我们要不要实现二维码登录web。目前看是可以先不实现的，但是作为设计考量我们不得不考虑这些。 第三方账户的登录，我们是通过手机号作为唯一标识，那么不太好实现第三方的登录注册。但是我们可以后期实现，如果实现第三方的登录注册，那么问题来了，我们的设计貌似不支持，需要改动，就是改掉手机作为唯一标识的问题，但是想想好像是不影响的，只要数据能插入问题就不大，因为没有手机号，这些用户是不能登录需要手机的app，但是有的系统可以做特殊处理，从而支持第三方账户的登录注册。但是这样做也有缺点，就是用户利用多种方式进行注册，也就是说我们不得不解决一个问题就是用户可能存在多个账户的可能性。加入用户有微信注册的账户，然后又用手机登录，绑定微信，这个时候我们可能需要去系统中用微信的unionId或者openId查找一下是否有用户，有就不能绑定，没有才能绑定。如果有我们可能也知道了这个人有重复号的可能性。这个可能需要在做的时候处理。 验证保密问题，公司居然都没有人提到这点。不过也对我们是通过手机号进行验证的。但是如果以后我们不在使用手机号，可能我们需要验证问题。还需要判断用户的活动记录...
阅读全文

群晖硬软件的的各种坑及解决方案

发布于
  适用对象：   白群晖用户，不愿意折腾，对数据敏感性较强（装了很多家庭照片，文件，宝贵的**姐们）； 不适用对象： 黑群用户，有些问题会涉及到硬件，由于黑群配置差异极大，很难找到原因；关于硬件推荐：本人与群晖无任何商业联系，因此不在此帖推荐任何硬件，只是以个人角度说一下使用过硬件的一些优缺点； 最后更新日期： 2021 年 9 月 2 日 （DSM 7.0 , 以群晖的牙膏性，这篇文章应该在未来2年都不会过时）； 不折腾玩转群晖NAS的通用建议： 用企业级硬盘： 多花点钱买企业级硬盘，现在10-16T的企业级硬盘价格真的不贵，耐心搜索本版帖子就能找到靠谱商家的合适价格（2021 年9月差不多120块钱1T）。既然是用白群了，那就要知道群晖的是根据盘位费卖硬件的，尽量不要用普通硬盘，尤其是淘汰下来的N 年旧硬盘做 NAS，问题多多，每月都有人求助群晖“存储空间损毁”的问题。另外，NAS 盘，除了对静音有极致要求，现在也不推荐，不仅价格贵，性能低、还吃了好多亏（SMR红盘坏了好几块）。 加内存是性价比最高的性能提升方式： 群晖有一篇非常冷门的 文章 ，提到了RAID/网络/内存对性能的影响，简单的总结就是，8G->16G内存，性能可以提升 30%以上，16G->32G内存，写性能还能提升 30%。当然这个测试都是基于“旗舰级”硬件测试的，但对于家用机，200多块钱的内存升级仍是最有效的性能提升方式，推荐大家无脑堆到支持内存的上限。 RAID不是数据保险箱： **姐有价，数据无价，如果真的想要保护数据，仅靠NAS是不够的，RAID而是用来保证某硬盘损坏时候依然能提供相关服务，而不是用来保证数据不丢的。为了数据安全，切记使用 “3-2-1”法则 保证数据安全。否则接收开盘数据恢复价格1T=1k； 群晖机器的性价比计算方式是价格/盘位： 群晖各阶机型CPU性能差异不太明显，但后期扩充盘位费极贵。因此简单计算性价比的方式就是价格/盘位，从而能比较出 2、4、5、6、8 盘位机器的性价比。注意只关注主机有多少个盘位，不要把扩展 DX517 这种算进去，大部分家庭用户很难再去买一个 DX517 用于扩容，所以不要想着买两盘位的720+，想着未来在买一个 DX517做成7盘位，应该直接买1621+直接上到 6盘位。...
阅读全文

打造一个可国内访问的Blogger（Blogspot）方法

发布于
  Blog‍‌‍‌​‌‌‌‌​‌​‍‌​‍‌‍‍​‌‌‍‌​‌‍​‍‌​​‍‌‌‌​‌‍‌‌​‍‍‍​‍‍‌​​‍‌‍‌​‍‌‍‍​‌‌‍‌​‌‍​‍‌​​‍​‍‍‍​‌‍‍‌ger,一个干爽、免费的博客发布平台，作为主流的发布，提供免费的托管，免去了Typecho&Wordpress高昂的服务器费用，避免了Hexo&Jekyll静态博客无后台的缺陷，与CSDN、简书相比，可以绑定域名，界面干净，无广告【当然可以自己放自己的广告】。 实际上，当今写博客的软件数不胜数，主要分为一下三类： 服务器部署：典型代表：Wordpress\Typecho 无服务器托管：典型代表：Hexo\Jekyll\Gidea\Hugo\Hola等等 集成型网站：Blogger、简书、CSDN、cnblog、wodemo等等 上面所有软件，优缺点都有，具体看个人选择 当然，个人认为Typecho适合做个人博客，Hexo可以作为要求不高的人。集成性网站最主要的是只要安安心心写文章，不用管后端乱七八糟的代码。当然，最有问题的是大多数都不支持绑定域名，而且经常往网站上塞广告，自定义范围也不够。 接下来，我们扯扯集成博客中的一股清流：Blogger Blogger.com是由Pyra Labs公司创立，是目前全球用户数量最多的个人网志服务提供商。Pyra Labs和Blogger.com均被Google公司收购，成为其旗下的一项服务内容。 Blogger提供免费主机Blogspot.com存放博客，用户不必写任何代码或者安装服务器软件或脚本，通过所见即所得界面轻松地创建、发布、维护和修改自己的网志。 Blogger允许有经验的用户自行设计博客界面，其模板支持使用HTML和CSS进行编辑 实际上，由于Blogger托管于谷歌，写作域名  www.blogger.com  和托管域名  *.blogspot.com  均被MainLand所Ban。但是接下来来，我会讲讲如何打造一个能在国内大陆访问的Blogger 1. 注册Blogger 众所周知，请善用技术上网。 用谷歌账号登录 ( https://www.blogger.com ) ，没有？不是⑧不是吧不是扒，都0202年了，还不会去注册一个谷歌账号？ 进入控制台，新建一个博客： 绑...
阅读全文

星际蜗牛安装黑裙（群晖）制作家用nas

发布于
说重点，群晖安装 选哪个型号哪个版本呢？ 之前用的5.2版本功能不够多，docker装上去运行个迅雷，隔一段时间就卡死了。download station里的rss订阅时间长了也更新不了。同时考虑到同步办公文件，这次得找个稳定的版本安装。 网上流传一个ds3617的二合一版本，正好可以安装到固态上。装完以后开机显示的画面有乱码 ，虽然乱码不影响使用，可总感觉不够稳定，再加上第一次插上硬盘以后重启了下，发现硬盘损毁，更不敢用了。（现在回过头来发现，应该是我插上去的那块硬盘是从别的nas上拆下来的，系统不识别造成的吧 ） nas论坛上走一遭发现还是乖乖用优盘引导安装吧。 网上最多的是918、916、3617、3615四种型号，群晖版本一般是6.1.7、6.2、6.2.1，选来选去选了6.1.7版本的3615，网友说这个版本稳定运行几年了。希望它稳定运行到天荒地老 小白注解 ： 群晖安装文件分两部分，引导文件和系统安装文件，黑群晖为啥黑就是引导文件是大神破解的。系统安装文件都是官方的，不用修改。 软件下载 逛坛子发现有两个好东西，一个是XPEnology多功能工具箱V1.2，软件长这样，首页就是引导文件 第二页是系统安装文件 需要用到的工具也都集成在里面了， 但是我从这里面下载下来的引导文件解压不了。于是找到了第二个神器——黑群晖工具获取器。 打开软件点下加载，然后依次选择型号，版本就全出来了。这里面也带了工具软件，不过我没用。用黑群晖工具获取器下引导文件挺快的，浏览器下载就行，但是系统安装文件就不行了，没速度 ，换迅雷就OK了。 我把引导文件、系统安装文件还有其他工具软件一起放网盘里，大家可以直接下载。 所有文件我都是上传的压缩包，解压以后使用 。 百度网盘链接 : 提取码:sle3 工具准备 一台电脑，一个独立的 显示器 、显示器与NAS的连接线，usb接口键盘。 上面的安装的时候需要，安装完就不用了。 找个闲置的64m优盘，没有的话大一点也可以，就是浪费容量而已。这个优盘以后一直要插nas上了 你们准备完了吗？ OK，正式开始折腾 制作引导优盘 大致流程是 先记录优盘VID和PID 删除原优盘分区， 往优盘上写引导文件 修改引导文件。 首先，拿出64m的优盘，插电脑上，打开XPEnology多功能工具箱，去制作工具栏里找到ChipGenius， 打开，我装了360，...
阅读全文

Cloudflare免费版设置说明

发布于
一：域名接入 Cloudflare 这一步其实能说的不是很多，因为我已经添加过域名了，也不好意思随便加别人的域名来测试，所以就只跟大家简单的说说吧。 注册账号之后先把自己想接入 CDN 的域名添加好，然后应该会有 Cloudflare 的提示，告诉你要把域名的 NS 记录改成 Cloudflare 的： NS 记录的修改需要到你的域名注册商那边改，这个根据各商家面板的不同可能设置上稍有差异，请自行查找。域名注册商那边改好之后，应该在 Cloudflare 这边刷新一下就能看到已经帮你添加好的各种记录了，默认支持 CDN 的也已经帮你开启了 CDN 功能，如果没有，就自己按照原来的记录重新添加一份，然后最重要的把 A AAAA 记录这种开启 CDN 功能。 此处提一下，不知道大家知不知道 NS 记录的用途？当我们改成 Cloudflare 的 NS 之后，其实以后我们就不需要到域名注册商那边去添加各种 A AAAA 记录了，全部都在 Cloudflare 这边完成，因为已经被接管了。 另外请注意，域名接入的说明是针对免费版 Cloudflare 来说的，用的合作伙伴那种接入方法的我这里就不说了，一般人家面板上会告诉你怎么操作（其实也就是绑定下域名到域名注册商那边改一下 A AAAA 记录之类的）。 二：后台概览页面介绍 在正式给大家说明各类设置项之前，我们先来看看 Cloudflare 的概览界面： 上面那一排排的按钮就是各种设置项了，第一项就是概览。 概览页面可以看到一些常规的 CDN 缓存数据大小还有命中率什么的，页面左边是一些功能的快捷开关，方便我们平时有需要时随时开随时关，翻译已给大家奉上。 概览按钮后面接的是 Analytics 功能，主要是用来展示一些详细的统计数据之类的，因为基本不含设置项，而且与本文标题不太相关，所以就不多介绍直接跳过了。 三：DNS 设置 防止有些人还找不到我说的是什么设置项，我就直接上图说了： 标的框框这里是让你快速添加各种主机记录用的，后面的图标亮着代表开启 CDN 功能，不想开就手动点一下关闭就是了。 关于 DNS 的设置部分，因为主要就是各种记录的添加，所以没什么好说的，只需要注意给你要开启 CDN 的域名添加正确的记录就是了，记录的设置和在原来域...
阅读全文

N1 PT下载小钢炮固件下载及安装说明

发布于
Nano Disk Manager (NanoDM) 公测版由于功能尚未最终稳定。因此，更新会比较频繁。 强烈建议使用0411之后的版本, 不要再去下载0909版本了... 0909版本的任何问题或bug都不予处理. FAQ 缓存问题 (此问题仅存在于0909及之前的老固件): 如果你进某个页面总是跳回登录页面,或者直接没有显示任何东西 ，浏览器返回的是该页无法显示。 chrome浏览器缓存问题。 ctrl + shift + i , 然后右击浏览器顶部地址栏的刷新按钮， 选择第三项：“清空缓存并硬性重新加载”， 即可。 更多FAQ见： https://gitee.com/8ox86/phicomm-n1-issue 下载地址： https://rom.nanodm.net/N1/ ==================================================================================== 从n1原版android系统刷机操作步骤 1.有一个N1,准备个U盘. 不要太大，U盘大于512M即可. usb 2.0的最佳。 闪迪（SanDisk）酷豆（CZ33）16GB 或 8GB的测试通过，表现良好。lexar 8GB USB2.0 U盘表现更佳。 经测试，上次撸的台电（Teclast）锋芒 U盘 64G USB3.0很大概率上识别会有问题。 下载 phicomm-n1-s905-linux-hacklog-20190327-0136.img.7z , 用 7z 或 winrar 解压后,再校验img文件的md5. 注意校验md5 phicomm-n1-s905-linux-hacklog-20190327-0136.md5sum.txt 将镜像文件 phicomm-n1-s905-linux-hacklog-20190327-0136.img 通过工具写入U盘 (windows下可用 USB Image Tool 或etcher[ https://etcher.io]， linux gnome3环境下可直接用Disks工具写入) 关于img写入 推荐使用 usb-image-tool 写入 其它工具没有测试过.不保证其工作正常. 如果你下载的是一个.xz的...
阅读全文

分析redis key大小的几种方法

发布于
当redis被用作缓存时，有时我们希望了解key的大小分布，或者想知道哪些key占的空间比较大。本文提供了几种方法。 一. bigKeys 这是redis-cli自带的一个命令。对整个redis进行扫描，寻找较大的key。例： redis-cli -h b.redis -p 1959 --bigkeys 输出： # Scanning the entire keyspace to find biggest keys as well as # average sizes per key type. You can use -i 0.1 to sleep 0.1 sec # per 100 SCAN commands (not usually needed). [00.00%] Biggest hash found so far 's_9329222' with 3 fields [00.00%] Biggest string found so far 'url_http://mini.eastday.com/mobile/170722090206890.html?qid=sgllq&ch=east_sogou_push&pushid=13' with 8 bytes [00.00%] Biggest string found so far 'foo' with 40 bytes [00.00%] Biggest hash found so far 's_9329084' with 4 fields [00.23%] Biggest zset found so far 'region_hot_菏泽地' with 625 members [00.23%] Biggest zset found so far 'region_hot_葫芦岛' with 914 members [00.47%] Biggest string found so far 'top_notice_list' with 135193 bytes [00.73%] ...
阅读全文

Windows7系统目录迁移:Users,Program Files,ProgramData

发布于
微软设计了比如：我的文档、我的OOXX，之类的东西，在WIN7下面更连游戏、下载等等目录都设计好了，我也很乖巧的把各种文件都分门别类的放进去了。 同时也很厉害的设计在了“%HOMEDRIVE%”里面，各种的资料，这种软件的配置就全给放进去了 在XP的时候对于C盘的要求还不是那么大，但是在win7下就显的捉襟见肘了 再格式化，重装系统就全没了，囧，就也是必须移动出来的第二个理由 以前只是自己挪挪地儿，小改一下注册表，今天无意中参考了几篇文章，那搞的才是个全面啊，在膜拜只后就全给做笔记了，忽忽，先上牛人原文的 传送门 首先，不管你要怎么挪，请记住挪坏了我不会负责。其次，确定系统是刚刚安装好的，这样比较不会出现意外，也更有效优化，确定是用Administrator 登录。 移动Program Files目录到非系统盘 第一步，复制 Program Files 目录 不能直接用 资源管理器 复制，我们需要保留此目录的所有权限设置，（以前我就是直接在资源管理器面弄到，现在严重怀疑，我的机器时不时的抽风是不是和这个有关）假设要从C 盘移动到 D 盘： xcopy "C:\Program Files" "D:\Program Files\" /E /H /K /X /Y/C 第二步，修改注册表 Windows Registry Editor Version 5.00 [ HKEY_LOCAL_MACHINE \SOFTWARE\Microsoft\Windows\CurrentVersion ] "ProgramFilesDir" = "D:\\ProgramFiles" "CommonFilesDir" = "D:\\ProgramFiles\\Common Files" 第三步，重启 注意不是注销，因为 Program Files 里有很多文件是被系统服务使用的，注销并不能重启服务。 第四步，关闭 iphlpsvc 服务 因为它...
阅读全文

个性化推荐从入门到精通

发布于
今天的分享将为大家解答以下几个问题：你的公司是否适合采用个性化推荐？如果需要个性化推荐，该如何做好？产品运营在参与到一个推荐系统的构建当中，有哪些常见的坑？有哪些可以避开这些坑的一些简单方法？以及如何修炼成一个优秀的推荐产品经理？ 一、“四个关键”为你揭开推荐系统的神秘面纱 个人认为，推荐系统是根据用户以及不同的场景差异，对信息进行合理的排序、过滤，解决信息过载问题的一套机制。这个定义中包含四个关键点，如下： 1.“根据用户以及不同的场景差异” 对于很多刚开始做推荐的人可能会忽略这一点，大部分人在思考推荐时想的更多的可能是基于用户来做，但其实我从众多实践中发现，很多时候推荐产生价值不仅仅只是说以用户进行区分，相关场景的差异会对于最后推荐效果产生巨大的影响。 2.“推荐的本质是对信息进行合理的排序、过滤” 很多人认为推荐是一个魔盒，非常神奇，其实究其本质是企业有成千上万甚至上亿的 item，不管这些 item 是文章、视频，还是电商里面的商品，然后现在有某个人在一个具体的场景里面，企业需要把这些 item 给他看，那应该把哪个放在第一个？这就是推荐系统背后的运作原理。 3. “推荐系统要解决信息过载的问题” 举个例子，如果你的企业只做爆款商品，整个公司只卖两个商品，这样用户一看就明白了，显然也不需要推荐，所以做推荐的一个前提条件是你公司本身提供的业务里面的信息太多了，对于一个正常的自然人来说，他处理不了那么多信息的时候，企业才需要去帮助用户解决信息过载的问题，从而为用户设计这样一套机制。 4.“一套机制” 这点很好理解，推荐系统是由不同的算法、规则等构成的一套机制。这四点是我从产品视角为你解读了什么是推荐系统，以及他的一些简单作用。 二、推荐系统、广告系统、搜索系统三者有何不同？ 事实上，解决我在前面提到的一系列问题，推荐系统并不是唯一的方法。 比如，前面所提到的排序、过滤，做技术的同学应该很容易联想到，搜索和广告系统也涉及排序、过滤，且搜索也一定程度上解决了信息过载。那么，这三个系统，它到底有什么区别呢？ 我从 5 个方面对其进行了对比，下面将一一讲述： 1. 用户获取信息的方式。 广告与推荐系统，用户都是被动的，但搜索不一样，用户是主动搜索的，他需要输入一些关键词，会加入一些自己的意见和重点。 2. 点击率要求。 这三个系统...
阅读全文