AI观察与大数据

一家估值1.75 亿美金的公司是如何被一行 Python代码给毁掉的

2021-09-19T02:33:45.000Z

先分享一篇文章，这是我在几年前阅读过的文章，原文在elthain.com网站上。后被网友在v2ex网站上分享。大概的故事是这样的：

一行代码引发的惨案

2011 年，Google 推出「 Panda 」机制动摇了很多老的 SEO 手段，digg 流量被腰斩。推出 DiggV4 作战计划。经过紧张的开发发布，不过访客页面没问题，已登录用户打不开 MyNews 页面。开发不得不用临时手段把登录用户的默认页面改成 TopNews。MyNews 只能通过不断重启进程才能短暂修复。初期以为是 cassandra 的缓存击穿了 memcache，后来加紧用 redis 重写了，还是得每4个小时重启一次进程。

（折腾了一个月之后）

如何降低MongoDB的使用内存

2021-07-28T08:17:34.000Z

在我们的系统中部署了很多套MongoDB的集群，但是有的时候会发现MongoDB启动不起来，或者启动之后一会儿MongoDB实例就挂了，也不知道是什么原因。我们按照如下方式进行了排查：

检查所在宿主OS中MongoDB的存储磁盘空间是否足够
检查所在宿主OS中的空闲内存是否足够
使用命令free -h或者用命令top也可以
检查MongoDB的运行日志
通过top -p pid命令跟踪进程的内存占用发现进程突然被kill掉。怀疑这时是因为进程的内存增长过快导致^[2]。

如何设计一个标签系统？

2021-07-27T08:27:06.000Z

在很多系统中都有打标签的需求，比如图片、书籍、电影、博客、评论等，并且打标签的对象往往是海量数据。这就给系统的设计提出了挑战：

要求可以根据标签进行分组、过滤、协同查询（比如标签的并集、交集、差集等等）
要求查询的效率很高
要求整个标签系统的扩展性很强

Maven配置部署指北

2021-03-29T08:50:12.000Z

Snapshots和release仓库

二者区别是什么

Snapshot^[2]，快照，是一种特殊的版本，指定了某个当前的开发进度的副本。不同于常规的版本，Maven 每次构建都会在远程仓库中检查新的快照。比如发布了一个app-1.0-SNAPSHOT版本，那么maven构件的时候，每次都会去仓库检查是否有最新的版本已经被发布。如果有，则替换。如果是release仓库，那么除非版本升级，否则maven构件的时候不会去检查最新的jar包，即便是在nexus仓库中已经更新了。

maven中的仓库分为两种^[3]，snapshot快照仓库和release发布仓库。snapshot快照仓库用于保存开发过程中的不稳定版本，release正式仓库则是用来保存稳定的发行版本。

定义一个组件/模块为快照版本，只需要在pom文件中在该模块的版本号后加上-SNAPSHOT即可(注意这里必须是大写)，如下：

<groupId>com.schdri</groupId>
<artifactId>bimgis</artifactId>
<version>3.10.0-SNAPSHOT</version>
<name>${project.artifactId}</name>
<packaging>pom</packaging>
<organization>
   <name>pig4cloud</name>
   <url>https://www.pig4cloud.com</url>
</organization>

SQL建模规范

2021-03-29T01:39:50.000Z

建模原则

数据库字段小写，下划线连接；每个字段都需要由COMMENT，说明其业务含义。
使用id作为主键，建议类型为bigint(20)，其对应的java类型为Long。
- Mybatis Plus框架自动生成主键插入（雪花算法）
- 也可以使用数据库自增，当只有1个服务，数据量较小的时候建议选择，提升插入性能。
update_time、create_time
使用timestamp或者datetime作为时间类型的首选。Mybatis-Plus框架生成的相应Java类型都是LocalDateTime。大部分场景下2种类型可以互相替换，不过在时间范围和时区支持上有差异。
使用MySQL的自动初始化和自动更新功能。字段变化之后，update_time数据库自动更新，如下：

create_at timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
create_by varchar(36) DEFAULT NULL COMMENT '创建人',
update_at timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间',
update_by varchar(36) DEFAULT NULL COMMENT '更新人',

布尔型字段使用tinyint(1)即可。
参考《阿里巴巴Java开发手册(华山版).pdf》。

雪花算法实现

Spring Cloud支持MongoDB

2020-12-07T07:09:46.000Z

MongoDB无疑是当前在各个领域中NoSQL优选的文档数据库之一。原因在于部署简单，可扩展性强，原生支持javascript脚本编程。对于使用Spring全家桶的团队来说，是一个很好的选择，可以快速的搭建一个服务出来。如果是用JS或者Typescript语言的话，使用mongoose的ORM框架结合到express框架，生产力会提高一大截。

稍显不足的是，MongoDB对于中文索引支持的力度不够，对于某些要求强事务的领域应用（比如金融、财务等）略显不足，至少还没有看到有成熟应用的案例。如果有，请告诉我。另外一个就是，在搭建MongoDB集群的时候，相对来说是比较复杂的。水平扩展虽然很简单，但是做Sharding的时候也需要仔细的考量。

本文简单介绍一下如何在Spring Boot/Spring Cloud程序中使用MongoDB数据库。

Java Config

第一种方式就是采用Java Config的方式，直接上代码，如下：

MongoDB建模的简单原则

2020-12-07T06:56:59.000Z

Nacos不支持MYSQL 8的问题

2020-04-29T14:22:14.000Z

Nacos遇到MySQL

快车道系列：理解文档对象模型DOM

2020-03-30T13:53:13.000Z

DOM是什么？

Document Object Model^[0]，简称DOM, 文档对象模型，是一套抽象的、单一的、具有一致性的API。这一套API是与具体实现和具体语言无关的。在WHATAG CORE 3 Living Standard^[1]上通过Web IDL定义给出。

HTML和定义良好的XML都是结构化，里面的内容、表现、属性都可以通过节点和对象的方式来表示，形成一棵树形结构（或者是森林）。而DOM所定义的API就是用来访问、操作、修改里面的数据。

Kafka调研（3）：多点通信方案的设计-2

2020-03-13T06:46:04.000Z

1. 星形拓扑的通信模型

星形的意思是说，有一个消息接收和转发中心，应用两两之间并不直接通信。所有的应用层消息都通过Kafka集群进行中转。但是对Kafka来说，消息的机制是推拉机制。如果需要接收消息，需要应用层连接到集群，订阅感兴趣的topic，然后poll消息。

为了实现这种模型，
1. 我们利用Kafka本身的ACL控制机制来对topic权限进行控制。

对每一个应用分配唯一的Consumer Group。
对每一个接入的应用分配唯一的账户和密码。
对每一个接入的应用分配SSL证书
对每一个topic按照应用进行配置读写权限。
对每一个接入的应用分配一个唯一的秘钥（该秘钥通过安全方式传递）。

2. 同时我们在应用包装一层API进行消息分派机制

应用层的消息需要进行加密。
应用层需要校验消息的来源和完整性。
判断该消息是否应该被处理，比如消息的接收方是否包含了自己。
应用层需要按照消息的业务ID（或者其他机制）分派合适的处理函数。

Kafka调研（3）：多点通信方案的设计-1

2020-02-17T03:30:38.000Z

1. 引言

在华为核心网和无线领域有几个重量级的产品比如U2000/M2000等网管系统^[1]。里面的底层通信就是一套基于MDP(Message Dispatching Process)的星形拓扑通信系统。不同的业务进程之间通过消息(REQ/RSP)来通信，而不是通信RPC或者库的依赖。

由于年代久远，和现在主流的MQ技术相比有一些不同的地方，随便说几点:

消息序列化只支持ASN.1. 当然好处在于提供一套抽象的语义定义，并且大家只需要传递ASN.1文件即可。或者由一个公共方将ASN.1文件编程对应的模型和支撑库提供给各个端对进行开发。但是同时呢，不好的地方也很明显，一方面是技术过时，再一个就是需要一个专门的团队来维护ASN.1定义和相应的工具；另一方面在于管理上没有形成一个好的ASN.1的分发机制。导致版本之间定义很混乱。对于前后向兼容性问题很难做到。当然，在网上也可以找到一些开源的ASN.1 Compiler^[3]。能不能用不清楚。
MDP并不支持消息的缓存和队列机制，本身也不提供可靠性保证。 那么如何来提供不丢失的消息呢？在华为，答案是提供一个框架层，业务团队并不直接使用MDP提供的库和接口，而是使用封装之后的一套框架，这套框架中提供了可靠性事件的发送的。实现的机制就是在发送之前存库。在接收业务处理完成之后，再从数据库中移除。当然这套机制也出现过不少问题，比如消息积压，数据库的内容不断上涨，甚至在局点可能出现过数据库表过大，导致其他业务访问很慢，甚至于极端情况下，整个数据库崩掉的情况都有。
MDP无法水平扩展，当消息出现峰值的时候，MDP有可能出现丢包的问题。 这个问题也比较头疼。这是从一开始设计的时候就没有考虑的问题。考虑到U2000/M2000对应的数据量实际上是很大的。假如MDP的处理峰值在于2000/s，每秒钟2W条消息尽力保证不丢包。这个阈值总会在未来的某一天会被打破，那么这个时候问题就出来了，系统会出现频繁丢包，系统业务频繁故障，但是由于底层数据通道，在应用层面几乎无法做到一个比较好的解决方案。
***MDP采用ACE^[4]，这一套框架比较复杂。***当然整体的U2000/M2000都是基于这个来开发，导致比较重型。
另外就是在U2000/M2000北向领域，采用了大量的ACE/TAO/Event Channel机制。灵活性不够。
为什么说CORBA是一个很不好的技术，最终会被时代所抛弃? 可以看这篇论文。下载链接
***当前通信架构转异构通信架构的难度。***对于U2000/M2000来说，所有的开发支撑库都需要自己来完成。当然，对于华为来说，这个不是问题。问题这是人力预算的问题。

上面说的一些问题在华为内部看来，有一些并不是问题，有一些问题可以绕过。有几个点：

客户的OSS/BSS系统都是基于CORBA调用。
ITU的标准定义就是基于ASN.1模型发布。
整个产品技术切换的成本太高, 所以要保护既有投资，CORBA技术带来的复杂度也可以成为一种护城河。
整个业务开发团队转型所面临的学习成本、人才招聘、人力缺口等等。

那么，从这几点来考虑，保持当前技术稳定，保持客户服务的稳定变是重点。所以，对于大企业来说，真的不是某个技术好就要上的。上面这个并非是吐槽，而是纯粹从技术上来分析我所经历过的产品在架构上的一些问题。

那么回过头来，那么如何通过messge queue来解耦不同系统（同构的还是异构的)来交换和通信来实现多异构同构系统之间的星形通信呢？我们来做一个简单的设计。

使用Socket.io搭建WS服务并通过Nginx反向代理

2020-02-17T01:46:21.000Z

Nodejs、Express、Socket.io、Nginx

使用Express框架和Socket.io库将websocket搭建起来，并监听同一个端口，参考官方例子^[1]就可以，非常简单。

var app = require('express')();
var server = require('http').Server(app);
var io = require('socket.io')(server);

server.listen(80);
// WARNING: app.listen(80) will NOT work here!

app.get('/', function (req, res) {
res.sendFile(__dirname + '/index.html');
});

io.on('connection', function (socket) {
socket.emit('news', { hello: 'world' });
socket.on('my other event', function (data) {
    console.log(data);
});
});

Nginx同时作为Web Server和WebSocket Reverse Proxy

在配置Nginx的时候，遇到了很多的问题，并且在网上现在找不到一篇对这个问题讲解的非常清楚的文档。
比如：

Kafka调研（2）：消息序列化框架建议与对比

2020-02-14T03:57:26.000Z

调研结果和建议

综合来看，Avro或者Protocol Buffer二选一即可，但是出于灵活性和标准JSON的支持力度上来看，更推荐Protocol Buffers。同时部分数据依然可以通过JSON方式传输。

主流序列化框架对比

Kafka的序列化

Kafka并不限定的消息格式。Kafka自身提供了一系列的序列化器，比如ByteArraySerializer，ByteBufferSerializer，DoubleSerializer，FloatSerializer，StringSerializer，UUIDSerializer， IntegerDeserializer, LongSerializer, ShortSerializer, 总结起来就是基本类型、字符串类型、二进制消息。

但是在通常情况下不会使用比如Float这种来做序列化，原因在于系统间交互或者放到Kafka的数据一般来说都比较复杂，无法用一个字段来表示。于是，这种情况下，就需要在Kafka之上建立一个消息格式的契约，以便于Kafka的生产者和消费者之间都能理解消息中的语义。最好地方就是在Kafka基础之上增加一层应用层的消息协议，比如JSON格式、比如二进制编解码协议（序列化），出于性能考虑，一般也不直接使用Java POJO对象的原生序列化（虽然可行）。在Apache Spark中使用的Kryo Register，由于场景限制（不提供IDL定义），不适用Kafka。

下面对常见的几个序列化框架做一个横向对比：

Kafka调研（1）：跨数据中心的多集群镜像

2020-02-14T03:12:23.000Z

调研结果和建议

针对是否可以跨数据中心部署Kafka集群的问题，答案是可行，但是不建议。建议先支持单集群部署，以简化运维成本，支持多地多应用业务上线。

可行性与跨网络部署产生的问题

Kafka实际上并不禁止将Broker部署到不同的网络地域。但是，Kafka的设计是按照单个数据中心进行设计、开发、测试和调优的。从Kafka的官方文档^[1]来看，并不推荐将集群跨网络部署。由于Broker分布在不同的跨地域的网络（WAN）, 除了数据同步会极大地增加延迟之外，并且如果由于网络中断无法保证zk始终可用，带来其他问题，比如：

Partition Leader无法选举。或者由于网络问题，某个Broker频繁掉线导致集群不稳定。
在Producer推送数据时候，产生延迟（推送到remote Broker）。或者由于网络问题，无法获取ACK。

什么是Kafka

2020-02-14T02:30:23.000Z

占坑，后面有时间对Kafka进行详细的更新

A bit of History

Kafka是高性能的、分布式的、数据可持久化的消息丢列。最初由LinkedIn开发，用来跟踪Web上的用户的一系列事件，譬如页面浏览(Page view)，搜索框的输入，展示的广告等等。这些事件对于监控和调查用于对于网站交互的参与度非常的重要。每天都有大量的数据产生，因为，需要一个可以轻松扩展，同时又不会增加额外负担的一个解决方案。

总体来说，Kafka从设计之初有3个目标：

简单的生产者/消费者API设计
尽可能减少网络传输和磁盘存储的额外成本
从一开始就为可扩展性而设计

什么是MQ

2020-02-14T02:10:23.000Z

这篇文章是一篇未完成稿，有时间再写

什么是消息队列（Message Queue）?

消息队列使得应用之间可以通过互发消息的方式来通信，这和传统的RPC方式有很大的区别。通过消息队列提供的服务，解除了点对点，星形拓扑通信耦合的问题。同时，当目标服务不可用的时候，消息队列充当了临时的消息缓存。

下面先解释一下什么是消息队列^[1]，怎么使用，在架构层面又会带来什么样的好处^[2]。

队列就是将事物排成一列，依次处理，并且依照先进先出(First In, First Out)的顺序。那么消息队列（MQ），就是用于不同系统或者应用之间通信的的列表，将需要通信的消息保存在队列中，等待应用依次处理。queues.io是一个比较好的网站可以查找各种不同功能的队列。

Thrift介绍、编译参数以及如何和maven集成

2020-02-13T13:07:49.000Z

什么是Thrift?

Thrift是一种接口描述语言和二进制通讯协议，它被用来定义和创建跨语言的服务。它被当作一个远程过程调用（RPC）框架来使用，是由Facebook为“大规模跨语言服务开发”而开发的。它通过一个代码生成引擎联合了一个软件栈，来创建不同程度的、无缝的跨平台高效服务，可以使用C#、C++（基于POSIX兼容系统）、Cappuccino、Cocoa、Delphi、Erlang、Go、Haskell、Java、Node.js、OCaml、Perl、PHP、Python、Ruby和Smalltalk。虽然它以前是由Facebook开发的，但它现在是Apache软件基金会的开源项目了。该实现被描述在2007年4月的一篇由Facebook发表的技术论文中，该论文现由Apache掌管。

目前流行的服务调用方式有很多种，例如基于 SOAP 消息格式的 Web Service，基于 JSON 消息格式的 RESTful 服务等。其中所用到的数据传输方式包括 XML，JSON 等，然而 XML 相对体积太大，传输效率低，JSON 体积较小，新颖，但还不够完善。本文将介绍由 Facebook 开发的远程服务调用框架 Apache Thrift，它采用接口描述语言定义并创建服务，支持可扩展的跨语言服务开发，所包含的代码生成引擎可以在多种语言中，如 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk 等创建高效的、无缝的服务，其传输数据采用二进制格式，相对 XML 和 JSON 体积更小，对于高并发、大数据量和多语言的环境更有优势。本文将详细介绍 Thrift 的使用，并且提供丰富的实例代码加以解释说明，帮助使用者快速构建服务。Thrift的下载地址是：http://thrift.apache.org/download

thrift.exe支持的参数有哪些？

为什么会害怕人工智能

2020-02-12T03:08:30.000Z

原作者：保罗▪福特 2015年2月11日
译者：山野@成都 2017

在阅读之前

这篇文章^[1]是我在2017年在麻省理工评论（MIT Technology Review）上看到的翻译的。作者是保罗▪福特^[2]。距离当初的翻译已经过去了2年。现在人工智能的概念已经深入到各行各业，从大家经常接触的SNS社交数据挖掘、智能客服、B2C商品推荐系统、新闻推荐系统、智能汽车，以及到更广泛的更偏向于传统的领域，比如医疗、城市规划、交通领域、建筑领域、社区管理、行政服务等等的一切都在提到一个词，那就是“智慧”，“智能”。

这一切的背后都和机器学习技术（深度学习、加强学习）等等的兴起，以及更加容易使用的框架和API，比如谷歌的tensorflow；更加容易处理大规模数据的框架，比如Apache Spark、Apache Hadoop套件等，这些都助力于并提高了各种业务对于基于大量数据的建模和预测能力。而这些能力就是大家所说的人工智能。

下面这篇文章并没有讲解具体的某种应用于人工智能的技术，而是从更高更抽象的层面，从社会和伦理的层面探讨了人工智能所带来的一些问题。

下面是正文：

maven构建的一些小技巧

2020-02-10T08:02:55.000Z

maven从设计上来说非常的简单，但是却是一个非常强大的工具。很多人将maven只是当做一个构建工具（从源代码生成可运行软件），但是实际上可以将maven当做一个项目管理工具，比如工程管理、插件管理、Jar包依赖管理、软件发布仓库管理等。

下面讲解一些在使用maven当中所遇到的一些小的技巧。

通过maven自动化构建protobuf class代码

2020-02-10T05:30:03.000Z

通过maven自动化构建protocal buffer

当对代码进行工程构建的时候，如果能够尽可能的自动化，这样对于提升整个软件质量、节省人力成本、减少因为人工干预导致的各种不可预知的错误是很好。
从protobuf的官方文档来看，通过cmd调用protoc当然可以生成相应的代码，但是对构建不够友好。于是，可以考虑通过maven来进行自动化构建，在启动maven构建的时候，自动调用protoc，生成代码，并打包成相应的jar包，集成到工程发布包中。
这里有2种方式，如下。