KTSee.eu.org

有时候我们希望能分析一下web服务器的访问记录，如果是直接打开 /var/log/nginx/access.log 的话，虽然的确可以看到访问记录，但是数据太多了，也很难直观的分析出我们想要的结果。而使用命令来分析虽然可行，但是命令比较难记忆，也不算直观。 今天了解到了一款轻量易部署的工具—— goaccess ，可以用来将我们nginx服务器的访问日志可视化，将数据直观的展现给我们。 除了nginx日志，该工具还可以将apache等服务端的日志可视化展示 安装GoAccess 官方给出了 安装教程 ，有linux包管理器安装，源码编译安装，docker镜像等多种部署方式，由于ubuntu18源里面的goaccess版本还算比较新，可以直接使用 sudo apt install goaccess 来安装 强烈建议不想折腾的话直接用包管理器安装！！！体验基本是相同的 。 不过这篇文章中我计划直接下载源码编译安装最新版，获得最新的体验: 我计划使用geoip city的mmdb数据库(一开始我以为可以精确到城市，但是查看github issues发现他们其实还没做精确到城市的显示…),所以得先去下载geoip2的数据库  https://www.maxmind.com/  需要注册才能下载，还不能挂代理。 bash # 首先安装依赖避免出现下面那些报错 sudo apt-get install libncursesw5-dev libglib2.0-dev libgeoip-dev libtokyocabinet-dev libbz2-dev $ wget https://tar.goaccess.io/goaccess-1.3.tar.gz $ tar -xzvf goaccess-1.3.tar.gz $ cd goaccess-1.3/ $ ./configure --enable-utf8 --enable-geoip = mmdb --enable-tcb = btree #这里的各个配置可以查看教程中的介绍如果要开启ssl 使用 --with-ssl参数 $ make $ make install 第一次尝试安装出现报错 checking for MMDB_open in -l...

像我们这种，孩子要N年以后才会高考的，也忍不住掺和一下。伸着脖子，想打听一点学霸的成功经验。 听来听去，除了天赋、努力之外，反复被提到的一个关键词即是：学习方法。 之前，分享过写的超好的一篇文章，反复强调的也是类似的观点，排名前 1% 的学生靠的不是天赋也不是努力，而是更高阶的思维和学习习惯…… 那究竟什么才是好的学习方法？ 带着这样的疑问，开始了搜寻，后来找到了它。 先说说它的神奇。 一个叫Scott Young的加拿大人，用它在几天之内学完了线性代数，一年的时间里自学完成了麻省理工全部计算机学课程。一共33门课程，这意味他平均通过一门课程也就花了一周半左右。 不卖关子啦，它就是 著名的费曼学习法。 知乎上很多人怒赞“费曼学习法”，还将其称为是“终极学习法”。 P.S.，它还能解释，为啥相比老二、老三，老大更加聪明，很神奇吧？ 1费曼，你是谁? “费曼学习法”来源于20世纪美国物理学家、 教育 家、音乐家——理查德·费曼。 “男神”费曼是不是很帅~ 如果说20世纪全世界第一伟大的科学家是爱因斯坦，那么排名第二的可能就是费曼先生了。 他不仅获得1965年的 诺贝尔 物理学奖，还参与过美国的原子弹项目”曼哈顿计划“，同时也是第一位提出纳米概念的人。 这样一位史诗级人物，对学习方法他有着自己的独特一面：学完了，再教一下他人。 这个方法伴随了他一生，也成就了他一生，而要追溯到他最开始的学习，则是归功于他的父亲对他思维方式的引导和积淀。 费曼和 爸爸妈妈 的合影。 费曼的父亲是一位推销制服的销售，文化程度并不高，但就是这样一位普通人，却在跟费曼一起读书的时候，逐渐教会了他怎样去理解和思考。 比如，一起读《大英百科全书》，父亲不是照本宣科，而是用更加形象的方式让小费曼真正理解。 有一次，他们讲到了霸王龙。书上说：”霸王龙有20英尺高，头有6英尺宽。“很准确，但是很抽象的表述。 父亲很巧妙地用“它的头想伸到窗户外，但是却伸不出去，因为它的头太宽了”的话语，让抽象变的具象。 这让费曼不仅理解了霸王龙的庞大，更加理解了20英尺高、6英尺宽是一个什么概念。 正是通过这种方式，小费曼不仅对科学产生了浓厚的兴趣，还认识到无论学什么，都要去理解它背后真正的含义，而不仅仅停留在表面。 不要小看这句话，因为这也正是“费曼学习法”的精髓所在。 2费曼学习方法的精髓是啥? 在介绍“费曼学习法”之前...

1. 删除数组尾部元素 一个简单方法就是改变数组的length值: 1 2 3 4 5 6 7 8 const arr = [ 11 , 22 , 33 , 44 , 55 , 66 ] ; // truncanting arr . length = 3 ; console . log ( arr ) ; //=> [11, 22, 33] // clearing arr . length = 0 ; console . log ( arr ) ; //=> [] console . log ( arr [ 2 ] ) ; //=> undefined 2. 使用对象解构（object destructuring）来模拟命名参数 如果需要将一系列可选项作为参数传入函数，你很可能会使用对象（Object）来定义配置（Config）。 1 2 3 4 5 6 7 doSomething ( { foo : 'Hello' , bar : 'Hey!' , baz : 42 } ) ; function doSomething ( config ) {    const foo = config . foo !== undefined ? config . foo : 'Hi' ;    const bar = config . bar !== undefined ? config . bar : 'Yo!' ;    const baz = config . baz !== undefined ? config . baz : 13 ;    // ... } 不过这是一个比较老的方法了，它模拟了 JavaScript 中的命名参数。 在 ES 2015 中，你可以直接使用对象解构： ...

前言： 如今很多路由器都支持第三方固件，大家也都纷纷将路由器刷成了 OpenWrt / LEDE ，梅林，Pandavan，高恪，潘多拉等固件来实现各自的一些目的。如： 去广告 多播叠加带宽 科学上网 挂机下载 KMS等 这些功能往往是在普通路由器的原版固件中没法实现的。既然大家已经有主路由可以刷第三方固件实现以上功能后，为什么又会有旁路有的需要呢？ 那自然是因为 旁路由 有它独到的好处。不知道大家有没有经历过以下的感受，当大家欢喜的在主路由上打开各种功能后，经过一段时间，总感觉代理速度不稳定，或者网络信号稳定等情况。这就是因为路由器本身的性能有限，你开的功能越多，它同时兼顾的东西就越多，自然就容易出现一些稀奇古怪的问题。这时候， 旁路由 就起到了它的作用。 我们用 旁路由 连接主路由，主路由关闭一切其它功能，只让它安心的拨号上网，发射WIFI信号，而一切杂七杂八的功能，都让 旁路由 来承担。 旁路由 同时也不用去做主路由的工作，它不需要拨号，不需要发射WIFI信号，它只需要做好它的科学、去广告的功能，这样就形成了一种各司其职的状态。如果你有一个很好的机场+上一个很高的带宽，通过这种配置，就可以进一步将它稳定的发挥出来。那么接下来，就让我们来看下，如果将斐讯N1小钢炮固件下使用Docker安装OpenWrt路由器固件作为 旁路由 ，充分发挥N1的作用。 步骤： 1、Docker安装及设置： 进入N1 小钢炮 管理后台，点击System选项，之后再点击Startup，在右侧往下拖，找到Docker的对应进程选项/etc/init.d/S60dockerd，把NO点为YES启用Docker，再点击左边的start，之后点击下面的SAVE保存 点击Apps-Other-Docker Setting-install Docker UI （没安装时默认为黄色，下图为已经安装完成后的显示） 等待Docker UI安装完成后，UI Running Status会显示2个绿色图白哦，点击第二个Docker UI进入Docker后台 首次进入设置你想要的用户名及密码，之后点击Local-Connet进入Docker管理界面 2、镜像拉取及设置： 使用 SSH 工具输入IP地址登录 小钢炮 （Windows使用Putt...

  前言 设计是把双刃剑，没有最好的，也没有更好的，而是条条大路到杭州。同时不设计和过度设计都是有问题的，恰到好处的设计才是我们追求的极致。 DDD（Domain-Driven Design，领域驱动设计）只是一个流派，谈不上压倒性优势，更不是完美无缺。 我更想跟大家分享的是我们是否关注设计本身，不管什么流派的设计，有设计就是好的。 从我看到的代码上来讲，阿里集团内部大部分代码都不属于 DDD 类型，有设计的也不多，更多的像“面条代码”，从端上一条线杀到数据库完成一个操作，仅有的一些设计集中在数据库上。我们依靠强大的测试保证了软件的外部质量（向苦逼的测试们致敬），而内部质量在紧张的项目周期中屡屡得不到重视，陷入日复一日的技术负债中。 一直想写点什么唤起大家的设计意识，但不知道写点什么合适。去年转到盒马，有了更多的机会写代码，可以从无到有去构建一个系统。盒马跟集团大多数业务不同，盒马的业务更面向 B 端，从供应到配送链条，整体性很强， 关系复杂，不整理清楚，谁也搞不明白发生什么了 。所以这里 设计很重要 ，不设计的代码今天不死也是拖到明天去死，不管我们在盒马待多久，不能给未来的兄弟挖坑啊。在我负责的模块里，我们 完整地应用了 DDD 的方式去完成整个系统 ，其中有我们自己的思考和改变，在这里我想给大家分享一下，他山之石可以攻玉，大家可以借鉴。 领域模型探讨 1. 领域模型设计：基于数据库 vs 基于对象 设计上我们通常从两种维度入手： Data Modeling : 通过数据抽象系统关系，也就是数据库设计 Object Modeling : 通过面向对象方式抽象系统关系，也就是面向对象设计大部分架构师都是从 Data Modeling 开始设计软件系统，少部分人通过 Object Modeling 方式开始设计软件系统。这两种建模方式并不互相冲突，都很重要，但从哪个方向开始设计，对系统最终形态有很大的区别。 Data Model 领域模型（在这里叫数据模型）对所有软件从业者来讲都不是一个陌生的名词，一个软件产品的内在质量好坏可能被领域模型清晰与否所决定，好的领域模型可以让产品结构清楚、修改更方便、演进成本更低。 在一个开发团队里，架构师很重要，他决定了软件结构，这个结构决定了软件未来的可读性、可扩展性和可演进性。通常来说架构师设计领域模型，开发人员基于这个领域...

最近因公司项目增多，且环境也越来复杂，开发人员找我查看错误日志越来越频繁，心里便念想到ELK，心之所想，念之所达，快来get一项新技能吧 1、系统架构组成 laravel日志：日志源通过filebeat将日志写进redis中间件 logstsh：logstash通过input将redis数据拿来分析，通过其filter模块分析所需要的语句，然后输出到elasticsearch 3.elasticsearch 接收logstash发送过来的数据，并提供了一个分布式多用户能力的全文搜索引擎 Kibana是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持。 二、各个服务的ip地址 laravel: 172.18.109.227 redis: 172.18.215.207 elasticsearch: 172.18.215.207 kibana: 172.18.215.207 复制代码 三、laravel日志服务器配置： 配置filebeat yum源文件 [elastic-5.x] name=Elastic repository for 5.x packages baseurl=https://artifacts.elastic.co/packages/5.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type =rpm-md 复制代码 安装filebeat yum install filebeat 复制代码 配置filebeat配置文件 ... #写入源 - input_type: log paths: - /var/www/html/*/storage/logs/laravel-2018-12-29.log ... #输出至redis output.redis: # Array of hosts to connect to. hosts: [ "172.18.215.207:6379" ] password: "***********" db: 0 timeout: 5...

背景 我们的restful api项目采用yaf框架， 整体结构简单， 我们只需要用swagger扫描 application目录即可。 下面简称我们的php项目为yaf_project. 搭建 先说下最终的文档生成流程会是什么样子,以便先有个整体的认识: 搭建完成后, 整个流程, 从文档生成到前端展现, 大体如下: 在php文件中写 swagger 格式的 /** 注释 */ 用 swagger-php 内的   bin/swagger.phar   命令扫描 项目application 所在目录, 生成   swagger.json   文件 将 swagger.json 文件拷贝到swagger-ui中index.html指定的目录。 打开 swagger-ui 所在的 url, 就可以看到文档了. 文档中的各个 api 可以在该网址上直接访问得到数据. 实现此需求，只需要swagger如下的两个项目： swagger-php: 扫描 php 注释的工具. 内含一个不错的例子. swagger-ui: 用以将扫描工具生成的 swagger.json 文件内容展示在网页上. git clone https://github.com/zircote/swagger-php.git git clone https://github.com/swagger-api/swagger-ui.git 或者： npm install swagger-ui-dist 文档生成工具（swagger）部署 NOTE: swagger-php 只是个工具,放在哪里都可以. 主要工作，解决composer依赖。 因为国内直接用 composer 比较蛋疼,所以最好设置下国内的那个 composer 源. 文档工具部署，需要以下三个命令： cd swagger - php composer config repo . packagist composer https : // packagist.phpcomposer.com composer update 只要中间不报错,就算部署完成了. 完成后可以生成一份文档试一下. swagger-php 项目下的 Examples 目录下有一个示例php工程,里面已经用 swagger 格...

使用Java的小伙伴，对于Java的一些高级特性一定再熟悉不过了，例如集合、反射、泛型、注解等等，这些可以说我们在平时开发中是经常使用到的，尤其是集合，基本是只要写代码没有用不到的，今天我们先来谈谈 泛型 。 1. 定义 在了解一个事物之前，我们必定要先知道他的定义，所以我们就从定义开始，去一步一步揭开泛型的神秘面纱。 # 泛型（generics） 他是 JDK5 中引入的一个新特性，泛型提供了编译时类型安全监测机制，该机制允许我们在编译时检测到非法的类型数据结构。泛型的本质就是参数化类型，也就是所操作的数据类型被指定为一个参数 # 常见的泛型的类型表示 上面的 T 仅仅类似一个形参的作用，名字实际上是可以任意起的，但是我们写代码总该是要讲究可读性的。常见的参数通常有 : E - Element (在集合中使用，因为集合中存放的是元素) T - Type（表示Java 类，包括基本的类和我们自定义的类） K - Key（表示键，比如Map中的key） V - Value（表示值） ? - （表示不确定的java类型） 但是泛型的参数只能是类类型，不能是基本的数据类型，他的类型一定是自Object的 注意： 泛型不接受基本数据类型，换句话说，只有引用类型才能作为泛型方法的实际参数 2. 为什么要使用泛型？ 说到为什么要使用，那肯定是找一大堆能说服自己的优点啊。 # 泛型的引入，是java语言的来讲是一个较大的功能增强。同时对于编译器也带来了一定的增强，为了支持泛型，java的类库都做相应的修改以支持泛型的特性。 （科普：实际上java泛型并不是 jdk5（2004发布了jdk5） 才提出来的，早在1999年的时候，泛型机制就是java最早的规范之一） 另外，泛型还具有以下的优点： # 1.提交了java的类型安全 泛型在很大程度上来提高了java的程序安全。例如在没有泛型的情况下，很容易将字符串 123 转成 Integer 类型的 123 亦或者 Integer 转成 String，而这样的错误是在编译期无法检测。而使用泛型，则能很好的避免这样的情况发生。 # 2.不需要烦人的强制类型转换 泛型之所以能够消除强制类型转换，那是因为程序员在开发的时候就已经明确了自己使用的具体类型，这不但提高了代码...

一次偶然原因，在网上看到关于一些Mifare Classic card卡的破解文章,发现成本不是很高,并且门槛也不太高（本人笨得很,没觉得低）觉得很有意思，准备入坑一波。正好我寝室有饭卡、洗澡卡和直饮卡,爲啥不试一试呢,嘿嘿.说干就干! 于是乎就在网上各种收集资料,(本人懒得很,不想去图书馆查资料)首先我们得搞懂M1卡的内部结构是吧，不然无从下手啊,所以我们先从结构说起吧. 可能文章有点长，着急的话可以直接跳过前面三个点 1.M1卡的存储内部结构： M1卡分爲16个扇区，每个扇区对应4块（块0-块3）,共64块，编号爲0-63.第0扇区的第0块用于存放厂商代码，已经固化无法更改。其馀区的第0-2块用于存放数据，块3爲控制块用于存放密码A、存取控制、密码B，结构如下：      A0 A1 A2 A3 A4 A5     FF 07 80 69    B0 B1 B2 B3 B4 B5      (密码A 6字节)     (存储控制 4字节)    (密码B 6字节) 并且每个扇区块3中的密码和存储控制全部都是独立的，独立控制本扇区的各种操作，每个扇区都能实现不同的功能，所以广泛用作一卡通。存储控制里面4字节的具体含义我也不是很清楚(不影响我们破解)，所以就不说出来误导大家了。 卡中每个块包含16字节，所以M1卡的容量=16扇区*4块*16字节=1024字节=1k  (M1卡的由来)。 知道了M1卡的大致结构我们就可以开始进行破解了，我在此收集了几种常见的破解手段。 2.M1卡的破解原理：   1）暴力破解： 暴力破解是最简单粗暴、不需要多少技术含量的，就是比较费时，但这并不妨碍大家对它喜爱之情。因爲M1是被动卡，需要读卡器爲之供能，一旦读卡器切断电源，卡中临时数据就会丢失，所以无论试错多少次密码都不会被锁定。特别是一些厂商偷懒用弱密码，花不了多少时间就能破解。 2）克隆卡片： 这算是最简单又实用的方法了。因爲M1卡加密扇区里面保存着各种数据，所以可以克隆一张带有同样数据的克隆卡。这就会用到一种叫UID卡的特殊M1模拟卡。前面说过，每张卡在0...

本文是Ebay的架构师在2008年发表给ACM的文章,是一篇解释BASE原则,或者说最终一致性的经典文章. 文中Dan讨论了BASE与ACID原则的基本差异, 以及如何设计大型网站以满足不断增长的可伸缩性需求,期间如何对业务做调整与折衷. 以及一些具体的折衷技术的介绍. 在数据库分区中，以一致性换取可用性会显著提高系统伸缩性。 在过去的十年里，网络应用越来越普及。不管你正在为终端用户还是应用程序开发人员构建应用程序(即服务)，您都希望您的应用程序得到广泛的采用，而广泛采用将会带来交易增长。如果您的应用程序依赖于持久化，那么数据存储可能会成为您的瓶颈。 有两种方法可用于扩展任何应用程序。第一个，也是最简单的，是垂直扩展:将应用程序移动到更大的计算机上。垂直扩展不影响数据的合理性，但是有几个限制。最明显的限制是超过系统的最大可用容量。垂直扩展也很昂贵，因为增加交易容量通常需要购买下一个更大的系统。垂直扩展通常会带来供应商依赖，从而进一步增加成本 水平扩展提供了更多的灵活性，但也相当复杂。水平数据扩展可以沿着两个维度进行。功能扩展，包括按功能分组数据，还有将不同的功能组分布到不同数据库。第二个维度是在功能区域内分割数据，分布到不同数据库，这也叫分片。图1说明了横向数据扩展策略。 如图1所示，水平扩展的两种方法都可以同时应用。用户、产品和事务可以在不同的数据库中。此外，每个功能区域都可以根据交易量跨多个数据库分割。如图所示，功能区域可以相互独立扩展。 功能分区 功能分区对于获得高的可伸缩性非常重要。任何优秀的数据库架构都会将schema分解为按功能分组的表。用户、产品、交易和通信都是功能的例子。利用诸如外键之类的数据库概念是保持这些功能区域一致性的常见方法。 依赖于数据库约束来确保跨功能组的一致性，会导致数据库在部署策略上的高耦合。为了使约束生效，表必须驻留在单个数据库服务器上，从而不能在交易数量增长时水平伸缩。在许多情况下，最简单的扩展方案是将功能组数据移动到相互独立数据库服务器上。 当交易量非常高的时候，不同的功能数据将在不同的数据库服务器。这需要将数据约束从数据库移出并在应用程序解决。这就带来了本文后面将讨论的几个挑战。 CAP原理 加州大学伯克利分校(University of California, Berkeley)教授、Ink...