前端错误日志上报及网站统计(sentry+matomo)

发布于

本文配合 rancher1.6(手头一个测试集群没升级到最新的 2.x)讲解如何搭建并配置日志错误上报框架Sentry及网站统计分析框架matomo 的搭建及接入 vue(本文以iview-admin为例)项目。

背景简述

  • sentry 项目运行过程中，难免出现 bug，前端不像后端可以很方便的采集项目日志(比如 log4j + elk)，导致每次出问题后还原车祸现场费时费力。另外现在随着 vue 等兴起，构建项目时打成 min.js，无疑又加大了前端定位问题的难度。而 sentry 是一款专注于错误采集的框架，支持常见的主流语言image.png采集，聚合，并推送错误信息。注意，sentry 并不是日志平台(e.g. log4j + elk)，也不是监控平台，sentry 专注于项目中的 Error 信息的采集，聚合，报警。
  • matomo 前身 Pwiki，是一款开源的 web 网站分析利器。类似于 Google Analytics。具体的特性，参见 Premium Web Analytics ，比如绘制页面热力图，录制会话，访问漏斗，A/B Test 等(这几样都是收费插件功能)。

注意：本文假设你已经有 rancher1.6 的环境

安装

matomo

rancher 创建 matomo

在 rancher 主机上

## 创建必要文件夹
mkdir -p /data/matomo/{config,logs,php,maxmind}/

## 安装maxmind ip数据库
wget -P /tmp/ https://github.com/maxmind/geoipupdate/releases/download/v4.0.3/geoipupdate_4.0.3_linux_amd64.deb
dpkg -i /tmp/geoipupdate_4.0.3_linux_amd64.deb
mv /etc/GeoIP.conf{,.bak}
cat << EOF | sudo tee -a /etc/GeoIP.conf
AccountID 0
LicenseKey 000000000000
EditionIDs GeoLite2-Country GeoLite2-City GeoLite2-ASN
DatabaseDirectory /data/matomo/maxmind
EOF

## 下载最新maxmind数据库
geoipupdate
ls -lah /data/matomo/maxmind/
总用量 67M
drwxr-xr-x 2 root root 4.0K 7月   7 17:25 .
drwxr-xr-x 6 root root 4.0K 7月   7 17:23 ..
-rw------- 1 root root    0 7月   7 17:25 .geoipupdate.lock
-rw-r--r-- 1 root root 6.3M 7月   7 17:25 GeoLite2-ASN.mmdb
-rw-r--r-- 1 root root  57M 7月   7 17:25 GeoLite2-City.mmdb
-rw-r--r-- 1 root root 3.7M 7月   7 17:25 GeoLite2-Country.mmdb

## 定时更新ip数据库
cat << EOF | sudo tee -a /etc/cron.d/geoipupdate
50 2 * * 4 root /usr/bin/geoipupdate
EOF

## 设置php.ini
cat << EOF | sudo tee -a /data/matomo/php/php.ini
upload_max_filesize = 128M
post_max_size = 128M
max_execution_time = 200
memory_limit = 256M
EOF

docker-compose.yaml

version: "2"
services:
  matomo:
    image: matomo:latest
    stdin_open: true
    volumes:
      - /data/matomo/config:/var/www/html/config
      - /data/matomo/logs:/var/www/html/logs
      - /data/matomo/php/php.ini:/usr/local/etc/php/php.ini
      - /data/matomo/maxmind/GeoLite2-City.mmdb:/var/www/html/misc/GeoLite2-City.mmdb
      - /data/matomo/maxmind/GeoLite2-Country.mmdb:/var/www/html/misc/GeoLite2-Country.mmdb
      - /data/matomo/maxmind/GeoLite2-ASN.mmdb:/var/www/html/misc/GeoLite2-ASN.mmdb
    tty: true
    ports:
      - 80:80/tcp
      - 443:443/tcp

rancher-compose.yaml

version: "2"
services:
  matomo:
    scale: 1
    start_on_create: true
    health_check:
      response_timeout: 2000
      healthy_threshold: 2
      port: 80
      unhealthy_threshold: 3
      initializing_timeout: 60000
      interval: 2000
      strategy: recreate
      reinitializing_timeout: 60000

image.png

配置 matomo

选择中文
image.png
系统检查
image.png
配置数据库
image.png
自动建表完成
image.png
创建管理员用户(忘记截图了)
设置分析网站(可以随便创建，后边再进行修改),注意跟进实际情况修改时区
image.png
复制跟踪代码
image.png
配置 matomo
image.png
登陆
image.png

Sentry

rancher 创建 Sentry

docker-compose.yml

version: "2"
services:
  cron:
    image: sentry:9
    environment:
      SENTRY_MEMCACHED_HOST: memcached
      SENTRY_REDIS_HOST: redis
      SENTRY_POSTGRES_HOST: postgres
      SENTRY_EMAIL_HOST: smtp
      SENTRY_SECRET_KEY: SENTRY_SECRET_KEY_XXX
    stdin_open: true
    volumes:
      - /data/sentry-data:/var/lib/sentry/files
      - /data/sentry-data/config.yml:/etc/sentry/config.yml
    tty: true
    command:
      - run
      - cron
  memcached:
    image: memcached:1.5-alpine
  web:
    image: sentry:9
    environment:
      SENTRY_MEMCACHED_HOST: memcached
      SENTRY_REDIS_HOST: redis
      SENTRY_POSTGRES_HOST: postgres
      SENTRY_EMAIL_HOST: smtp
      SENTRY_SECRET_KEY: SENTRY_SECRET_KEY_XXX
    stdin_open: true
    volumes:
      - /data/sentry-data:/var/lib/sentry/files
      - /data/sentry-data/config.yml:/etc/sentry/config.yml
    tty: true
    ports:
      - 9000:9000/tcp
  worker:
    image: sentry:9
    environment:
      SENTRY_MEMCACHED_HOST: memcached
      SENTRY_REDIS_HOST: redis
      SENTRY_POSTGRES_HOST: postgres
      SENTRY_EMAIL_HOST: smtp
      SENTRY_SECRET_KEY: SENTRY_SECRET_KEY_XXX
    stdin_open: true
    volumes:
      - /data/sentry-data:/var/lib/sentry/files
      - /data/sentry-data/config.yml:/etc/sentry/config.yml
    tty: true
    command:
      - run
      - worker
  redis:
    image: redis:3.2-alpine
  postgres:
    restart: unless-stopped
    image: postgres:9.5
    volumes:
      - /data/postgresql/data:/var/lib/postgresql/data
    ports:
      - 5432:5432/tcp

注意把 SENTRY_SECRET_KEY 换成 sentry 的实际 secret key

rancher-compose.yml

version: "2"
services:
  cron:
    scale: 1
    start_on_create: true
  memcached:
    scale: 1
    start_on_create: true
  web:
    scale: 1
    start_on_create: true
    health_check:
      response_timeout: 2000
      healthy_threshold: 2
      port: 9000
      unhealthy_threshold: 3
      initializing_timeout: 60000
      interval: 2000
      strategy: recreate
      reinitializing_timeout: 60000
  worker:
    scale: 1
    start_on_create: true
  redis:
    scale: 1
    start_on_create: true
  postgres:
    scale: 1
    start_on_create: true
    health_check:
      response_timeout: 2000
      healthy_threshold: 2
      port: 5432
      unhealthy_threshold: 3
      initializing_timeout: 60000
      interval: 2000
      strategy: recreate
      reinitializing_timeout: 60000

先将 docker-compose.yml 保存到服务器上，用来初始化 db 和创建账号

docker-compose run --rm web upgrade
Would you like to create a user account now? [Y/n]: y
Email: anjia0532@gmail.com
Password:
Repeat for confirmation:
Should this user be a superuser? [y/N]: y
## 直到输出
Migrated:
 - sentry
 - sentry.nodestore
 - sentry.search
 - social_auth
 - sentry.tagstore
 - sentry_plugins.hipchat_ac
 - sentry_plugins.jira_ac
Creating missing DSNs
Correcting Group.num_comments counter
## 并退出

配置 Sentry

image.png
image.png
image.png
image.png
image.png
image.png
image.png

配置 vue

本文以 iview-admin 为例

git clone https://gitee.com/anjia/iview-admin.git
cd iview-admin

sentry

注意，网上很多文档，以讹传讹的使用过时的工具，raven-js .从 5.x 后官方建议使用@sentry/browser 和@sentry/integrations

npm install --save @sentry/integrations
npm install --save @sentry/browser

修改 iview-admin\src\main.js

// The Vue build version to load with the `import` command
// (runtime-only or standalone) has been set in webpack.base.conf with an alias.
import Vue from "vue";
import App from "./App";
import router from "./router";
import store from "./store";
import iView from "iview";
import i18n from "@/locale";
import config from "@/config";
import importDirective from "@/directive";
import { directive as clickOutside } from "v-click-outside-x";
import installPlugin from "@/plugin";
import "./index.less";
import "@/assets/icons/iconfont.css";
import TreeTable from "tree-table-vue";
import VOrgTree from "v-org-tree";
import "v-org-tree/dist/v-org-tree.css";
import * as Sentry from "@sentry/browser";
import * as Integrations from "@sentry/integrations";
// 实际打包时应该不引入mock
/* eslint-disable */
if (process.env.NODE_ENV !== "production") require("@/mock");

Vue.use(iView, {
  i18n: (key, value) => i18n.t(key, value),
});
Vue.use(TreeTable);
Vue.use(VOrgTree);
/**
 * @description 注册admin内置插件
 */
installPlugin(Vue);
/**
 * @description 生产环境关掉提示
 */
Vue.config.productionTip = false;
/**
 * @description 全局注册应用配置
 */
Vue.prototype.$config = config;
/**
 * 注册指令
 */
importDirective(Vue);
Vue.directive("clickOutside", clickOutside);

/* eslint-disable no-new */
new Vue({
  el: "#app",
  router,
  i18n,
  store,
  render: (h) => h(App),
});

Sentry.init({
  dsn: "https://xxx@xxx.xxx.com/xxx",
  integrations: [
    new Integrations.Vue({
      Vue,
      attachProps: true,
    }),
  ],
});
npm install
npm run dev

打开 http://localhost:8080/error_store/error_store_page
分别点击两个按钮，模拟出错
image.png
打开 sentry 发现已经有错误上报了，并且对错误进行聚合。
image.png
image.png点开查看详细内容。

如果需要生成 source-map ,可以参考官方文档 https://docs.sentry.io/platforms/javascript/sourcemaps/

matomo

image.png
image.png
image.png

npm install --save vue-matomo

修改 iview-admin\src\main.js

// The Vue build version to load with the `import` command
// (runtime-only or standalone) has been set in webpack.base.conf with an alias.
import Vue from "vue";
import App from "./App";
import router from "./router";
import store from "./store";
import iView from "iview";
import i18n from "@/locale";
import config from "@/config";
import importDirective from "@/directive";
import { directive as clickOutside } from "v-click-outside-x";
import installPlugin from "@/plugin";
import "./index.less";
import "@/assets/icons/iconfont.css";
import TreeTable from "tree-table-vue";
import VOrgTree from "v-org-tree";
import "v-org-tree/dist/v-org-tree.css";
import * as Sentry from "@sentry/browser";
import * as Integrations from "@sentry/integrations";
import VueMatomo from "vue-matomo";

// 实际打包时应该不引入mock
/* eslint-disable */
if (process.env.NODE_ENV !== "production") require("@/mock");

Vue.use(iView, {
  i18n: (key, value) => i18n.t(key, value),
});
Vue.use(TreeTable);
Vue.use(VOrgTree);
/**
 * @description 注册admin内置插件
 */
installPlugin(Vue);
/**
 * @description 生产环境关掉提示
 */
Vue.config.productionTip = false;
/**
 * @description 全局注册应用配置
 */
Vue.prototype.$config = config;
/**
 * 注册指令
 */
importDirective(Vue);
Vue.directive("clickOutside", clickOutside);

/* eslint-disable no-new */
new Vue({
  el: "#app",
  router,
  i18n,
  store,
  render: (h) => h(App),
});

Sentry.init({
  dsn: "https://xxx@xxx.xxx.com/xxx",
  integrations: [
    new Integrations.Vue({
      Vue,
      attachProps: true,
    }),
  ],
});
Vue.use(VueMatomo, {
  // Configure your matomo server and site by providing
  host: "//xxxx.xxxx.com/",
  siteId: xx,

  // Changes the default .js and .php endpoint's filename
  // Default: 'piwik'
  trackerFileName: "matomo.js",

  // Overrides the autogenerated tracker endpoint entirely
  // Default: undefined
  trackerUrl: "//xxxx.xxxx.com/matomo.php",

  // Enables automatically registering pageviews on the router
  router: router,

  // Enables link tracking on regular links. Note that this won't
  // work for routing links (ie. internal Vue router links)
  // Default: true
  enableLinkTracking: true,

  // Require consent before sending tracking information to matomo
  // Default: false
  requireConsent: false,

  // Whether to track the initial page view
  // Default: true
  trackInitialView: true,

  // Whether or not to log debug information
  // Default: false
  debug: false,
});

// or
window._paq.push;

// or through
window.Piwik.getTracker;

打开 http://localhost:8080, 随便访问几个菜单,然后打开 matomo
image.png
image.png
路由已经有数据了
image.png
并且将用户的常规数据聚合起来

更多

其实本文只是 sentry 和 matomo 简单介绍
更深入的使用，比如 sentry，推送邮件，文中一带而过的 sourcemap，单点登录(集成内部的权限认证)，自定义上报内容(将错误与用户 id 关联起来)，,敏感数据脱敏等
比如 matomo, 每日发送分析报表，增加 kafka 插件，进行更深层次的挖掘，自定义上报内容(购物车等),大数据量情况下的优化，优化用户设备指纹，使用了 nginx 等反代软件后，如何正确识别真实 ip，热力图，A/B test,漏斗图等

来源：https://anjia0532.github.io/2019/07/07/sentry-and-matomo-install/

评论

发表评论

此博客中的热门博文

开源内网穿透工具 frp 简单使用教程

发布于
首先说下原始需求。众所周知，IPv4 网络地址数量非常有限，大约只有 43 亿个地址，全球互联网发展到如今的程度，显然不可能每台设备都分配到 IPv4 地址。 那现在家庭宽带是怎么连接网络的呢？这里一般会使用 NAT（Network Address Translation，网络地址转换）在一个 IPv4 地址内部扩展出一个内部网络，使这个内部网络可以正常连接到互联网。此时内部设备可以正常访问全球 IPv4 地址（即公网地址），但是外部的设备只能找到这个内部网络共用的全球 IPv4 地址，而没法找到经过 NAT 之后的内部设备地址。 考虑到大部分用户的主要需求是获取互联网上的各种资源，并没有对外提供服务的需求，现在国内运营商在大部分城市默认已经不会给家庭宽带用户动态分配公网地址，而是换成了一层或多层 NAT 后的内网地址。并且一般用户发送数据的需求远小于获取数据的需求，所以家庭宽带的上下行带宽一般是不对等的，例如某地电信宽带 500M 下行带宽对应的上行带宽只有 30M。 此时，对于一些有远程连接、获取 NAS 文件，或者临时调试服务需求的用户就不太友好了。 内网穿透工具就是为了解决上述的没有公网 IP 的问题的。 注意：此工具依赖一个有公网 IP 的 PC 或服务器。 frp 简介 frp（ 项目主页 ） 是一个可用于内网穿透的高性能的反向代理应用，支持 tcp, udp 协议，为 http 和 https 应用协议提供了额外的能力，且尝试性支持了点对点穿透。名称其实就是使用了 Fast Reverse Proxy 的首字母缩写。架构如下： 简单来说，就是可以随时随地通过 有公网 IP 的服务器 中转连接到 运行 frpc 程序的任意机器的任意端口 。 使用场景 做具体的配置前，根据对应的操作系统及架构，从 Release 页面下载最新版本的程序。 将 frps 及 frps.ini 放到具有公网 IP 的机器上。 请注意配置防火墙或安全组放过配置文件中使用的端口。 将 frpc 及 frpc.ini 放到处于内网环境的机器上。 1. 通过 rdp 访问家里的机器 修改 frps.ini 文件，为了安全起见，这里最好配置一下身份验证，服务端和客户端的 common 配置中的 token 参数一致则身份验证通过： ...
阅读全文

thinkphp-queue 笔记

发布于
前言 当前笔记中的内容针对的是 thinkphp-queue 的 v2.0 版本 传统的程序执行流程一般是 即时|同步|串行的，在某些场景下，会存在并发低，吞吐量低，响应时间长等问题。在大型系统中，一般会引入消息队列的组件，将流程中部分任务抽离出来放入消息队列，并由专门的消费者作针对性的处理，从而降低系统耦合度，提高系统性能和可用性。 一般来说，可以抽离的任务具有以下的特点： 允许延后|异步|并行处理   （相对于传统的   即时|同步|串行   的执行方式） 允许延后 ： 抢购活动时，先快速缓冲有限的参与人数到消息队列，后续再排队处理实际的抢购业务； 允许异步 ： 业务处理过程中的邮件，短信等通知 允许并行 ： 用户支付成功之后，邮件通知，微信通知，短信通知可以由多个不同的消费者并行执行，通知到达的时间不要求先后顺序。 允许失败和重试 强一致性的业务放入核心流程处理 无一致性要求或最终一致即可的业务放入队列处理 thinkphp-queue   是thinkphp 官方提供的一个消息队列服务，它支持消息队列的一些基本特性： 消息的 发布 ， 获取 ， 执行 ， 删除 ， 重发 ， 失败处理 ， 延迟执行 ， 超时控制 等 队列的 多队列 ，   内存限制   ， 启动 ， 停止 ， 守护 等 消息队列可 降级为同步执行 thinkphp-queue 内置了   Redis ， Database ， Topthink   ， Sync 这四种驱动。本文主要介绍 thinkphp-queue 结合其内置的 redis 驱动的使用方式和基本原理。 注1：如无特殊说明，下文中的 ‘消息’ 和 ‘任务’两个词指代的是同一个概念，即队列中的一个成员。该成员对消息队列而言是其内部保存的消息； 对业务应用而言是一个待执行的任务。请根据语境区分。 注2：本文编写时(2019-01-30)使用的 thinkphp-queue 的版本号是 v2.0 。如有变更，请以官方最新版为准。 一 代码示例 先通过一段代码，了解一下 thinkphp-queue 的基本使用流程。 目标： 在业务控制器中推送...
阅读全文

免费在线接收手机短信验证码大全

发布于
  一直以来 Email 邮箱是在线服务用来验证注册者身份的主要方式，近些年则变成以手机号为主，基本上国内外的一些服务都需要手机号来注册验证身份。现在还加入直接以第三方帐号例如微信、微博、Google 等注册登入，这些过程不外乎是减少被短时间内大量注册或滥用的可能性，但某些时候我们并不希望被知道真实身份，就可以使用一些方法绕过验证，例如注册时通过用后即丢的暂时邮箱收验证信，手机方面也有临时手机号码可以使用，就能够在不被得知真实数据的情况下完成注册或通过身份认证等程序。 手机号码牵涉的层面较多、较复杂，相较于临时邮箱来说这类服务就更少一些，而且基本上是共享号码，会看到其他人的短信内容。但如果是要用于注册帐户通过验证，或者想收一则短信又不希望告诉对方真实号码，本文要介绍的一些在线收手机短信验证码的免费服务或可研究一下，这些工具虽然功能和界面很简单却很实用。 另一方面，当你临时需要某个国家的手机号时，也能从这里碰碰运气，不过并不保证永久固定或有效，如果你想要一个能长时间使用的国外手机号码，也能参考「香港电话卡汇总介绍」购买一个，我中国移动香港电话卡已经稳定使用半年了。 但也提醒大家，无论是临时邮箱或手机号码等匿名工具都有非常完整的使用记录，不要抱持侥幸心态将它做为诈欺或非法用途。以下要介绍的服务皆从网络整理，不保证可以持续稳定提供服务，如果无法使用，请换成其他服务再试一次。 国外免费接码平台 只列了一些出来，需要更多可以在搜索引擎网站搜关键词 “receive sms free” https://ch.freephonenum.com https://smsreceivefree.com https://zh.mytrashmobile.com https://www.receive-sms-online.info https://receiveasms.com https://sms-online.co/receive-free-sms https://receive-sms.com http://receivefreesms.com/ https://www.receivesmsonline.net/ https://www.freeonlinephone.org/ https://us-phone...
阅读全文

如何防止Cloudflare CDN背后的图片被盗连(Hotlink Protection)？

发布于
「Hotlink Protection」(直接链接保护)是经营网站经常需要去注意的一块，但为什么我们会需要「Hotlink Protection」呢？身为图文并茂的网络文章作家，最担心得就是自己的文章被别人整篇连文带图地拷贝粘贴到其它地方了。此时如果图片有套用「Hotlink Protection」的话，就可以让被盗用的图片在其它网站上「不被正常显示」出来，如此一来，就能使其它误入盗文页面的访客可以知道该篇文章是篇被盗用的文章。不同的网站架构有不同的「Hotlink Protection」的设置方式，如果您的网站有打开Cloudflare的CDN服务的话，可以参考这篇文章，来实现「Hotlink Protection」的功能。 我的网站服务器是用Nginx或Apache，难道不能直接对它们做设置吗？ 很遗憾，只要我们有激活Cloudflare的CDN服务，就无法有效地通过自己的服务器程序来设置Hotlink Protection。这是因为网页浏览器在打开您网站的图片时，会去链接Cloudflare的CDN服务器，而非我们自己的服务器，所以就算我们有在自己的服务器上制作Hotlink Protection的功能，也根本不会被触发到。 既然有Cloudflare CDN，为什么还要Hotlink Protection？被盗连的图，其流量不是不会算在我们头上吗？ 的确，有了Cloudflare CDN之后，就算图片被盗连，它主要也还是会去吃Cloudflare CDN服务器的流量。但是，您真的愿意让您文章中的图片原封不动地在盗文网站上显示出来吗？所以还是设置一下Hotlink Protection吧！ Cloudflare内置的Hotlink Protection开关 Cloudflare的控制后台中，其实就有提供一个一键套用Hotlink Protection的开关，只要打开来，就可以让有激活CDN功能的网域拥有Hotlink Protection的功能。这个开关藏在Cloudflare控制后台的「Scrape Shield」分页中。 这个Hotlink Protection一旦打开，整个有打开Cloudflare CDN服务的网域(包含子网域)下的图片链接，就只能在这整个网域(包含子网域)下打开，否则的话会直接回传HTTP的403...
阅读全文

J4125 低功耗 2.5G 迷你软路由详细折腾心得

发布于
大约一个月前我才知道了这款软路由，奈何已经错过了众筹的车，后来发现某鱼上有人转手，只比众筹价格贵了 100，果断入手，下面记录了这个机器折腾的一些心得。 选择 2.5G 组网的理由 首先聊聊为什么选择 2.5G 组网，现在大部分家庭的光纤速度是达不到千兆的，所以很多人觉得上个千兆软路由足矣了。但就目前来看，SSD 价格已经逐步平民化，多磁盘组 Raid 也可以轻松突破 200MB/s，Wifi6 也逐渐普及开来，千兆网络的速度就成为了局域网的瓶颈，如果你像我一样经常拷贝一些蓝光原盘和一些大容量文件的话，着实很蛋疼。而组万兆网的话目前性价比又太低，未来几年内家庭用户也不太可能普及万兆网络。经常关注 DIY 的小伙伴应该有所了解，现在中高端的主板基本都开始集成 2.5G 网卡，一些高端硬路由也开始使用 2.5G 网卡，很多品牌 Nas 主机也都转向了 2.5G，所以目前来看 2.5G 组网是一个很不错的选择，至少未来几年内都不会过时。 下面看看这台机器的配置： CPU 赛扬 J4125 4M Cache up to 2.70 GHz 显卡 Intel UHD Graphics 600 内存 支持双 SODIMM DDR4 内存条，最高支持 32G 硬盘 1 个 m.2 接口仅支持 nvme 协议，PCIE x2 通道 2 个 SATA 2.5 寸硬盘，两个供电接口（5V）+ 两个数据接口 网卡 螃蟹 8125B 网卡，4 个 2.5G 的 RJ45 网口，带 Led，支持 Wake on Lan 电源 12V 或 19V 适配器，5.5*2.5 DC接口，支持上电开机 视频接口 HDMI 1.4 + DP 1.2 USB 接口 2 个 USB3.0 接口 其他 开机按钮 + 指示灯 整机规格为：175mm * 125mm * 50mm，铝合金外壳，CPU 和机箱的鳍通过铜块 + 散热胶连接，整机被动散热！ 选择这台机器的理由 其实讲真，目前市面上的 2.5G 迷你软路由还真的没有太多选择，但我还是得说说这台机器的亮点。 首先是 J4125 这颗低功耗 CPU，实测待机功耗 3W+，满载功耗 10W+，功耗非常低。那么性能如何呢？可以说甩了 J1900 好几条街了，性能相当于 6 代 i5 的水平。看图说话： 其实，大家对J4105 ，J4125 这些处理器都没...
阅读全文

MIUI使用adb工具实现免ROOT冻结系统应用和去广告

发布于
上面这张图就是小米官方的广告投放系统介绍，小米的 MIUI 系统铺天盖地的广告也一再被用户吐槽为 ADUI，想来广告现在已经成了 MIUI 系统最显著的特点了。 在前一篇文章「 小米MIUI系统重刷第三方recovery及获取root权限 」里，详细介绍了如何给 MIUI 系统刷入第三方 recovery 以及获取 root 权限，整个国产还是相当繁琐的。但是小米手机的系统广告无法关闭，还有没有其它的办法缓解垃圾广告骚扰呢？办法是有的。 将 MIUI 系统 root 并且使用管理工具屏蔽广告推送，或者 root 后直接刷入干净的第三方 rom，都是一劳永逸地解决垃圾广告问题的方法，使用本文介绍的 ADB 工具屏蔽广告的效果没有前面两个好，但好在不是很麻烦，而且不用 root 系统。 方法及步骤说明如下： 1、下载 ADB 工具 ADB 全称 Android Debug Bridge（ Android 调试桥 ），是一个通用命令行工具，可以与模拟器实例或连接的Android 设备进行通信。查看介绍及下载可以直接前面的超链接。下载好之后把下面三个文件放到如下路径： C:\Windows 2、安装小米刷机工具（安装手机驱动） 小米通用刷机工具 自带手机驱动，安装好驱动才能正常使用 ADB 工具。 3、开启 MIUI 开发者模式 依次打开 设置-我的设备-全部参数 ，在「MIUI 版本」一栏连续点击多次，开启 MIUI 开发者模式。 4、开启 USB 调试 依次打开 设置-更多设置 ，进入开发者选项，再打开「USB 调试」和「USB 调试（安全设置）」两项，如下图所示： 5、用 USB 数据线连接电脑和手机 6、使用 ADB 命令删除 MIUI 系统自带应用 删除应用的 ADB 命令是： adb shell pm uninstall --user 0 应用包名 例如，在 MIUI 系统中「搜狗输入法」的包名为：com.sohu.inputmethod.sogou.xiaomi，那么卸载搜狗输入法的完整 ADB 命令为： adb shell pm uninstall --user 0 com.sohu.inputmethod.sogou.xiaomi 打开 Windows 系...
阅读全文

分析redis key大小的几种方法

发布于
当redis被用作缓存时，有时我们希望了解key的大小分布，或者想知道哪些key占的空间比较大。本文提供了几种方法。 一. bigKeys 这是redis-cli自带的一个命令。对整个redis进行扫描，寻找较大的key。例： redis-cli -h b.redis -p 1959 --bigkeys 输出： # Scanning the entire keyspace to find biggest keys as well as # average sizes per key type. You can use -i 0.1 to sleep 0.1 sec # per 100 SCAN commands (not usually needed). [00.00%] Biggest hash found so far 's_9329222' with 3 fields [00.00%] Biggest string found so far 'url_http://mini.eastday.com/mobile/170722090206890.html?qid=sgllq&ch=east_sogou_push&pushid=13' with 8 bytes [00.00%] Biggest string found so far 'foo' with 40 bytes [00.00%] Biggest hash found so far 's_9329084' with 4 fields [00.23%] Biggest zset found so far 'region_hot_菏泽地' with 625 members [00.23%] Biggest zset found so far 'region_hot_葫芦岛' with 914 members [00.47%] Biggest string found so far 'top_notice_list' with 135193 bytes [00.73%] ...
阅读全文

mysql（多级分销）无限极数据库设计方法

发布于
相信有过开发经验的朋友都曾碰到过这样一个需求。假设你正在为一个新闻网站开发一个评论功能，读者可以评论原文甚至相互回复。 　　这个需求并不简单，相互回复会导致无限多的分支，无限多的祖先-后代关系。这是一种典型的递归关系数据。 　　对于这个问题，以下给出几个解决方案，各位客观可斟酌后选择。 一、邻接表:依赖父节点 　　邻接表的方案如下(仅仅说明问题)： CREATE TABLE Comments( 　　　　CommentId　　int　　PK, 　　　　ParentId　　 int,　　　　--记录父节点　　　　ArticleId　　int, 　　　　CommentBody nvarchar(500), 　　　　FOREIGN KEY (ParentId)  REFERENCES Comments(CommentId) 　　--自连接，主键外键都在自己表内　　　　FOREIGN KEY (ArticleId) REFERENCES Articles(ArticleId) 　　) 　　由于偷懒，所以采用了书本中的图了，Bugs就是Articles： 　　 　　这种设计方式就叫做邻接表。这可能是存储分层结构数据中最普通的方案了。 　　下面给出一些数据来显示一下评论表中的分层结构数据。示例表： 　　 　　图片说明存储结构： 　　 　　 邻接表的优缺分析 　　对于以上邻接表，很多程序员已经将其当成默认的解决方案了，但即便是这样，但它在从前还是有存在的问题的。 　　分析1： 查询一个节点的所有后代(求子树)怎么查呢？ 　　我们先看看以前查询两层的数据的SQL语句： SELECT c1.*,c2.*　　FROM Comments c1 LEFT OUTER JOIN Comments2 c2 　　ON c2.ParentId = c1.CommentId 　　显然，每需要查多一层，就需要联结多一次表。SQL查询的联结次数是有限的，因此不能无限深的获取所有的后代。而且，这种这样联结，执行Count()这样的聚合函数也相当困难。 　　说了是以...
阅读全文

使用阿里云盘打造免费 WebDAV 服务 nas访问阿里云 plex挂载阿里云访问

发布于
前些时间在github上看到了一个项目   zxbu / webdav-aliyundriver   可以把阿里云盘挂载成webDav 本项目实现了阿里云盘的webdav协议，只需要简单的配置一下，就可以让阿里云盘变身为webdav协议的文件 服务器 。 基于此，你可以把阿里云盘挂载为Windows、Linux、Mac系统的磁盘，可以通过NAS系统做文件管理或文件同步，更多玩法等你挖掘本项目实现了阿里云盘的webdav协议，只需要简单的配置一下，就可以让阿里云盘变身为webdav协议的文件服务器。 基于此，你可以把阿里云盘挂载为Windows、Linux、Mac系统的磁盘，可以通过NAS系统做文件管理或文件同步，更多玩法等你挖掘 既然这样 不就可以把阿里云挂载到 群晖 本地的 硬盘   然后用plex选择 文件 然后进行扫描 读取 实现在plex播放云盘里的视频 说干就干 先看下项目的README 看起来挺简单的 我给大家翻译一下 首先打开阿里云盘的官网 登录后按F12 进入找到tokan里面的refresh_token复制存着备用 然后打开你的群晖 在docker 文件夹   新建一个文件夹 取名叫aliyunpan 然后打开群晖的docker管理 搜索   webdav-aliyundriver   就选择人用的最多的那个吧 然后打开高权限 点击高级设置 ALIYUNDRIVE_REFRESH_TOKEN 为上文获取的refresh_token ALIYUNDRIVE_AUTH_USER-NAME 为 WebDAV 设置用户名 ALIYUNDRIVE_AUTH_PASSWORD 为 WebDAV 设置密码 继续下一步 就可以启动了 现在来测试一下这个的时候挂载是否成功 打开文件管理器 挂载 然后点击webDev 具体配置按照你刚刚创建的时候信息填写 然后就可以挂载到本地nas里面了 到这里就可以像在本地操作webDav一样 下载上传文件等等 普通nas到现在就结束了 但是我用的pve里面装的黑群晖 我想用plex来挂载阿里云盘里面的电影和视频 来看海报墙和在线观看 选择你要添加的类型 选择这个路径 然后它就自动扫描进行建库了 手机 上很多文件管理器都支持webDav挂载 还有很多好玩的玩法等待你们来开发 ...
阅读全文