bulk insert 报错，丢失数据

[WangXiangUSTC]

执行go-mysql-elasticsearch，首先mysqldump表中原来的数据，再插入到elasticsearch中。表中总共有几十万条数据，数据量不算大，但是经常会报错：

2017/03/30 17:52:25 sync.go:340: [error] index index: rolename_test, type: rolename, id: 9099892, status: 429, error: {"type":"es_rejected_execution_exception","reason":"rejected execution of org.elasticsearch.transport.TransportService$4@526d2921 on EsThreadPoolExecutor[bulk, queue capacity = 50, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@730af97f[Running, pool size = 32, active threads = 32, queued tasks = 50, completed tasks = 1258381273]]"}

我这边的elasticsearch是一个集群，已有的业务每秒钟入库上千条日志。是否是因为go-mysql-elasticsearch 在批量插入数据的时候没有设置bulk size？

[siddontang]

不知道，我是觉得这个应该是在 ES 上面配置的，是 ES 处理不过来了，貌似

[WangXiangUSTC]

关于这个错误代码可以看一下这个官方论坛的讨论：
https://discuss.elastic.co/t/in-which-case-elasticsearch-will-return-429/23483

在第一次运行go-mysql-elasticsearch的时候，因为是从使用mysqldump获取全部数据，所以数据量比较大，我在代码中加了日志之后发现请求的长度都为1，也就是说每一行数据的插入都使用了bulk接口，我认为bulk接口比较适合批量的请求，如果只有一条请求，bulk所占的系统资源应该比delete、index这样针对单条请求的接口耗费更多的资源，所以容易导致es报这个错误。

[WangXiangUSTC]

我感觉可能需要做两方面的修改：
1、对于单条请求不调用bulk这个接口
2、是不是解析binlog的程序把一条sql语句也分成了多行？mysqlbinlog一个表的数据按说应该只会有一条插入语句
麻烦确认一下

[siddontang]

@WangXiangUSTC

单条请求不走 bulk 这个你可以测试一下效果，麻烦 fix 下我给你那个 PR 提的 comment
sql binlog 是 row 模型，所以一条修改一定被拆成了多行，我们这边后面可以用 channel 来做 batch，然后再走 bulk

[siddontang]

@WangXiangUSTC

Seem that I have already fixed this problem, you can use master to try again.

[WangXiangUSTC]

ok