环境 {代码...} 步骤安装 JupyterLab {代码...} 生成配置文件 {代码...} 编辑配置文件 C:\Users\qbit\.jupyter\jupyter_lab_config.py {代码...} 创建启动快捷方式 {代码...} 双击 JupyterLocalInit 启动快捷方式可以用这个图片 {代码...} 给 JupyterLab 添加 pyspark 环境（胡乱插入：）） {代码...} 本文出自 qbit snap

前言本文对 Elasticsearch 7.10 适用Elasticsearch 7.10 对应 Lucene 8.7Lucene 8.7 关于扩展名的官方文档 [链接]相关阅读elasticsearch 百亿级数据检索案例与原理Day 7 - Elasticsearch中数据是如何存储的A Dive into the Elasticsearch Storage某分片索引文件列表片段 {代码...} 几种索引的文件体积片段ES 查询过程用...

前言测试环境 {代码...} Python 3.8 多进程官方文档: [链接]loguru 0.5.3 不是多进程安全的，正好可以用来做多进程与锁的测试参考文章： Python sharing a lock between processes代码与说明无锁多进程代码 {代码...} 运行结果（乱）multiprocessing.Lock代码 {代码...} 运行结果（报错）报错的原因是 multiprocessing.L...

引子本文对 Elasticsearch 7.13 适用正确关机是为了防止数据丢失或集群混乱（如脑裂），也可避免无意义的重新分片官方文档： [链接]方式一所有 master 机器配置 recover 策略，示例如下 {代码...} 临时禁用 shard 分配（重启后自动失效） {代码...} 将所有数据落盘 {代码...} 关机开机方式二（推荐）禁用副本 shard 分配...

背景简介本文针对集群重启分片长期分配不出去的问题（CLUSTER_RECOVERED）本文 ES 版本为 7.10.1本文集群有 3 个主节点，3 个协调节点，20 个数据节点解决方案官方文档： [链接]在每个 master 节点的 elasticsearch.yml 中增加或修改集群配置 {代码...} 本文出自 qbit snap

Releases：[链接]某个目录右键打开cmder {代码...} 如果 cmder 提示缺少 api-ms-win-crt-runtime-l1-1-0.dll，安装 vc2015运行时 即可。汉字重叠：settings -> Main，取消“Monospace”。添加别名：编辑config/aliases文件。例如： {代码...} 1.3.x版本中文乱码：settings -> Startup -> Environment。 {代码...}...

Ubuntu/CentOS 通用这种方式对 Ubuntu 20.04/CentOS 7 有效在 ~/.bashrc 中追加如下内容 {代码...} Ubuntu 专用对 Ubuntu 20.04 适用 {代码...} 本文出自 qbit snap

相关网址Ansible github: [链接]Ansible 官方文档: [链接]配置 ssh 免密登录将公钥传送到 ssh 被控服务器主控端配置（配好后用 ssh node01 测试）vim ~/.ssh/config {代码...} 基本命令ping {代码...} 执行 shell 命令 {代码...} 执行脚本 {代码...} Ansible 配置 Elasticsearch环境 {代码...} 资产清单（Inventory）cat...

Unassigned shards查看原因cat shards {代码...} Cluster allocation explain API {代码...} 查看磁盘水位线 {代码...} 重新分配尝试重新分配 {代码...} 修改索引副本数 {代码...} 本文出自 qbit snap

现象（We couldn't activate monitoring）排查 {代码...} 修改集群配置 {代码...} 检查集群是否至少有一个具有ingest 身份的节点本文出自 qbit snap

环境硬件在亚马逊云（AWS）中国区ES 节点硬件：3 台 AWS m5.4xlarge（16 vCPU/64GB 内存）Kibana 硬件：1 台 AWS m5.large（2 vCPU/8GB 内存）操作系统：Ubuntu 20.04 LTSElasticsearch 7.9.3Kibana 7.9.3机器示意图操作系统这里主要讲 EBS 的挂载和 XFS 格式化可参考官方文档： [链接]用 lsblk 命令查看磁盘概况：32G ...

有一批文献，作者ID（user_id）是多值，传入一批 user_id，每个 user_id 取一篇文献出来。如上图，想要取 user_id 包含 222、444 的文献各一篇。

python-stdnum可校验 issn/isbn 等多种号码校验 issn {代码...} 校验 isbn {代码...} isbnlibisbnlib 是 isbntools 的内核校验 isbn10 {代码...} 校验 isbn13 {代码...} Java 版本的校验库ISSNValidator [链接]ISBNValidator [链接]本文出自 qbit snap

阿里云合作伙伴： [链接]腾讯云生态合作伙伴： [链接]本文出自 qbit snap

截至 2020.11.17，SystemD 早已战胜 upstart 成为 SystemV 的接任者。CentOS 7/8、Ubuntu 18.04/20.04 LTS 默认配置都是 SystemD。

名词解释Yum {代码...} DNF {代码...} CentOS7 更换 Yum 源备份 {代码...} 下载（阿里云 Yum 源） {代码...} 更新缓存 {代码...} CentOS8 更换 Yum 源备份 {代码...} 下载（阿里云 Yum 源） {代码...} 更新缓存 {代码...} 安装 epel {代码...} 替换 epel 文件中的 url（可选） {代码...} 查看 epel {代码...} 安装 htop ...

问题描述Elasticsearch 聚合数据结果不精确，怎么破？解决方案调大 shard_size临时调大 search.max_buckets {代码...} 永久调大 {代码...} 本文出自 qbit snap

引子常说要留一半以上的内存给 ES 的 cache，那么怎样查看 ES 占用的 cache 的大小？（干货 | 吃透Elasticsearch 堆内存）实践环境介绍 {代码...} ES api 查看查看帮助 {代码...} 查看堆内存使用情况 {代码...} {代码...} 查看机器内存使用情况 {代码...} {代码...} Linux 工具查看htop 查看（11259 为 ES 进程 ID） {代...

测试环境 {代码...} 安装使用 pip3 安装 esrally {代码...} 查看版本 {代码...} 出现以下界面即安装成功esrally --version下载测试数据集官网项目地址 [链接]从/home/qbit/.rally/benchmarks/tracks/default/download.sh）中可以看到测试数据集存放在 AWS 的 [链接] 路径下。上面的目录并不能直接访问，我们需要研究里面...

截至 2020.11.17，SystemD 早已战胜 upstart 成为 SystemV 的接任者。CentOS 7/8、Ubuntu 18.04/20.04 LTS 默认配置都是 SystemD。

es 配置IK Dictionary Configuration {代码...} 第一次配置需要重启 ES注意：如果文件服务器做了高可用或负载均衡，etag 返回值可能会轮换，使得词典文件被不断 reload测试环境Windows 10nginx 1.18.0步骤解压下载的压缩包，在里面新建 dic 目录编辑 conf 下的配置文件 nginx.conf {代码...} 只在默认配置文件中加了下面...

帮助 {代码...} 版本信息 {代码...} 显示集群信息（查看 master 节点） {代码...} 查看节点列表 {代码...} 查看所有 pod 和 namespace {代码...} 列出所有 node 和 pod {代码...} 查看某个 pod 里面的容器 {代码...} 列出某个容器里面的目录 {代码...} 删除容器里面的文件 {代码...} 创建目录 {代码...} 拷贝文件到容器...

High-Quality Recommendation Systems with Elasticsearch使用 ElasticSearch 实现高质量的推荐系统Significant Terms Aggregation（Elastic 官方）Elasticsearch：significant terms aggregation（博客园）Elasticsearch：significant terms aggregation（Elastic 中国社区官方博客）本文出自 qbit snap

前言推荐学习阮一鸣《Elasticsearch 核心技术与实战》本文对 Elasticsearch 7.17 适用，官方文档：[链接]同义词可以再建索引时（index-time synonyms）或者检索时（search-time synonyms）使用，一般在检索时使用本文介绍的是 search-time synonyms同义词文档格式单向同义词 {代码...} 双向同义词 {代码...} 试验步骤添...

前言本文主要是为了给宽图片上下补边试验环境 {代码...} 代码 {代码...} 示例输入图片样例（点击图片查看边框）输出图片样例（点击图片查看边框）相关阅读Python 去除图片纯色边框本文出自 qbit snap

Hue: Hadoop User Experience环境 {代码...} qbit 参照这两篇 Hue 官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的 AWS 中国区用户的痛搞明白了也简单，就是在官方文档的基础上还得配置 host 参数摘录配置如下 {代码...} 上面的配置一般通过 config.json 配置，不必登录到具体 EC2 上操作。...

本文环境 {代码...} 单机程序 新建 Maven 工程 修改 pom.xml 配置 {代码...} 新建 Package 和 Java Class 从官方拷贝代码到 WordCount.java {代码...} 将文本文件 demo.txt 放到 pom.xml 同级目录 添加运行配置 点击运行，报如下错误 {代码...} 到官网下载并解压 hadoop-2.8.5.tar.gz 下载 winutils/hadoop-2.8.5/，将 b...

前言本文主要参照 Trim whitespace using PIL试验环境 {代码...} 除了 Pillow 以外，qbit 还尝试了 skimage 和 opencv-python，效果不比 Pillow 好，且用法复杂很多PillowPillow 文档： [链接] {代码...} 调整尺寸 {代码...} 输入图片样例（点击图片查看边框）输出图片样例（点击图片查看边框）ImageMagick使用 ImageMag...

前言 操作系统版本 {代码...} ssh 目录 {代码...} 直接登录 {代码...} 免密登录 证书生成 生成 {代码...} 查看 {代码...} 拷贝公钥到服务器 在服务器创建目录 {代码...} 在 Windows 10 上使用 scp 命令上传公钥 {代码...} 将公钥追加到 authorized_keys 文件 {代码...} ssh 客户端配置文件 在 C:\Users\qbit\.ssh 目录下...

本文的配置文件为 C:\Users\qbit\AppData\Local\Packages\Microsoft.WindowsTerminal_8wekyb3d8bbwe\LocalState\settings.json