我跟存储的这10年

Davies Davies 2017-09-18 09:38:24
三鲜
2017-09-18 09:40:12 三鲜

赞,加油

Ruby姐姐
2017-09-18 10:32:28 Ruby姐姐

呆总创业啦!加油!!

andyh
2017-09-18 11:09:02 andyh (Let the knife do the work)

JuiceFS 会提供企业内部部署支持吗?因为很多数据没法放到云上去。

LarrySugarman
2017-09-18 11:31:47 LarrySugarman (Are We Experimental?)

我最近做的东西也是基于S3,真是受害颇深。期待JuiceFS!

萱小璧
2017-09-18 11:32:57 萱小璧 (思慕昭然啊, 我不舍依依.)

哇(σ゚∀゚)σ!加油加油

Davies
2017-09-18 11:54:47 Davies (hacking@DB)
我最近做的东西也是基于S3,真是受害颇深。期待JuiceFS! 我最近做的东西也是基于S3,真是受害颇深。期待JuiceFS! LarrySugarman

JuiceFS已经可以用了,注册后就可以开始免费使用

Davies
2017-09-18 11:55:33 Davies (hacking@DB)
JuiceFS 会提供企业内部部署支持吗?因为很多数据没法放到云上去。 JuiceFS 会提供企业内部部署支持吗?因为很多数据没法放到云上去。 andyh

以后会支持,但需要你们自己提供对象存储来配合。

微微一笑H.J
2017-09-18 11:56:12 微微一笑H.J (每天吐吐槽,每天心情好)

碉堡了……

桃子杀手熊猫饼
2017-09-18 12:15:53 桃子杀手熊猫饼 (还不是因为你长得不好看)

厉害了!

Ryan
2017-09-18 13:20:01 Ryan

棒!

大磊
2017-09-18 13:36:28 大磊 (新的一周....)

lz后端是什么开发的呢?

codedump
2017-09-18 14:13:19 codedump (Stay Hungry,Stay Foolish)

请问如何加入呢?

Davies
2017-09-18 14:32:10 Davies (hacking@DB)
lz后端是什么开发的呢? lz后端是什么开发的呢? 大磊

文件系统是用C和Go开发的,Web是用Python(Django)。

Davies
2017-09-18 14:33:08 Davies (hacking@DB)
请问如何加入呢? 请问如何加入呢? codedump

欢迎发简历到 davies@juicedata.io , 因为团队还很小,职位方面很灵活。

洋芋吃洋芋
2017-09-18 15:55:43 洋芋吃洋芋
欢迎发简历到 davies@juicedata.io , 因为团队还很小,职位方面很灵活。 欢迎发简历到 davies@juicedata.io , 因为团队还很小,职位方面很灵活。 Davies

坐标是哪里呢?

啊声
2017-09-18 20:59:04 啊声

fatal error: unexpected signal during runtime execution

运行 juicefs 出现的……

啊声
2017-09-18 21:00:01 啊声

fatal error: unexpected signal during runtime execution
fatal error: unexpected signal during runtime execution
[signal SIGSEGV: segmentation violation code=0x1 addr=0x47 pc=0x7fa513db2070]

runtime stack:
runtime.throw(0xcc797a, 0x2a)
/usr/local/go/src/runtime/panic.go:596 +0x95
runtime.sigpanic()
/usr/local/go/src/runtime/signal_unix.go:274 +0x2db

goroutine 50 [syscall, locked to thread]:
runtime.cgocall(0xa310f0, 0xc42023dab0, 0xcc6e4c)
/usr/local/go/src/runtime/cgocall.go:131 +0xe2 fp=0xc42023da70 sp=0xc42023da30
net._C2func_getaddrinfo(0x7fa5180008c0, 0x0, 0xc420250090, 0xc420258008, 0x0, 0x0, 0x0)
net/_obj/_cgo_gotypes.go:86 +0x68 fp=0xc42023dab0 sp=0xc42023da70
net.cgoLookupIPCNAME.func2(0x7fa5180008c0, 0x0, 0xc420250090, 0xc420258008, 0x0, 0x50, 0x50)
/usr/local/go/src/net/cgo_unix.go:151 +0x171 fp=0xc42023db10 sp=0xc42023dab0
net.cgoLookupIPCNAME(0xc420230020, 0x9, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0)
/usr/local/go/src/net/cgo_unix.go:151 +0x1bd fp=0xc42023dc10 sp=0xc42023db10
net.cgoLookupIP(0x126bf40, 0xc420014420, 0xc420230020, 0x9, 0xcb4a7d, 0x11, 0xc4201ff630, 0x4103c2, 0xc420234000, 0x17ac)
/usr/local/go/src/net/cgo_unix.go:209 +0x3a1 fp=0xc42023dd78 sp=0xc42023dc10
net.(*Resolver).lookupIP(0x2509ca5, 0x126bf40, 0xc420014420, 0xc420230020, 0x9, 0xc4201ff668, 0x40feb6, 0x7fa52186d7e0, 0xc4201ff6e8, 0x55b942)
/usr/local/go/src/net/lookup_unix.go:69 +0x125 fp=0xc42023dde8 sp=0xc42023dd78
net.(*Resolver).(net.lookupIP)-fm(0x126bf40, 0xc420014420, 0xc420230020, 0x9, 0x3, 0xc420230020, 0xe, 0x0, 0x0)
/usr/local/go/src/net/lookup.go:156 +0x56 fp=0xc42023de48 sp=0xc42023dde8
net.glob..func11(0x126bf40, 0xc420014420, 0xc420230040, 0xc420230020, 0x9, 0xc420078000, 0xc420230010, 0x7fa5238cbe10, 0x0, 0xc4201ff738)
/usr/local/go/src/net/hook.go:19 +0x52 fp=0xc42023dea0 sp=0xc42023de48
net.(*Resolver).LookupIPAddr.func1(0xc420230001, 0xc420236000, 0xc4201ff768, 0x6918df)
/usr/local/go/src/net/lookup.go:162 +0x5c fp=0xc42023df28 sp=0xc42023dea0
internal/singleflight.(*Group).doCall(0x1291840, 0xc420226050, 0xc420230020, 0x9, 0xc420250000)
/usr/local/go/src/internal/singleflight/singleflight.go:93 +0x3c fp=0xc42023dfb8 sp=0xc42023df28
runtime.goexit()
/usr/local/go/src/runtime/asm_amd64.s:2197 +0x1 fp=0xc42023dfc0 sp=0xc42023dfb8
created by internal/singleflight.(*Group).DoChan
/usr/local/go/src/internal/singleflight/singleflight.go:86 +0x323

Davies
2017-09-18 22:24:15 Davies (hacking@DB)
fatal error: unexpected signal during runtime execution 运行 juicefs 出现的…… fatal error: unexpected signal during runtime execution 运行 juicefs 出现的…… 啊声

怎么复现?

Kamus
2017-09-18 22:46:18 Kamus (面朝大海,春暖花开)

请问一下团队是在哪里?

啊声
2017-09-18 22:55:59 啊声
怎么复现? 怎么复现? Davies

后端是腾讯云,输完参数就出错了,再 mount 也直接报错。编译用的 go 版本是什么?最近的版本 net 包都不会调 cgo 了吧。这个工具是否开源?

Lamengao
2017-09-18 23:10:49 Lamengao (I make web apps)

看上去很不错。希望能支持 upyun(又拍云)。

Davies
2017-09-19 01:28:39 Davies (hacking@DB)
后端是腾讯云,输完参数就出错了,再 mount 也直接报错。编译用的 go 版本是什么?最近的版本 ne 后端是腾讯云,输完参数就出错了,再 mount 也直接报错。编译用的 go 版本是什么?最近的版本 net 包都不会调 cgo 了吧。这个工具是否开源? ... 啊声

可能跟你的系统有关,我在Mac/Linux下都试了腾讯云没有问题。是用Go 1.8.3 编译的。你把具体的环境信息通过豆油我吧,多谢!

我们已经有开源的计划,不过还需要再等一段时间。

Davies
2017-09-19 01:29:25 Davies (hacking@DB)
请问一下团队是在哪里? 请问一下团队是在哪里? Kamus

团队在中国和美国都有,支持远程办公。

Davies
2017-09-19 01:30:18 Davies (hacking@DB)
看上去很不错。希望能支持 upyun(又拍云)。 看上去很不错。希望能支持 upyun(又拍云)。 Lamengao

会支持又拍云,不过因为又拍云不提供计算环境,访问会比较慢,不如在其他公有云的体验。

FPs
2017-09-19 09:59:53 FPs (just for fun)

原来背后有这么多故事。

itfanr
2017-09-19 11:47:11 itfanr

比cephfs和lustrefs怎么样?

森木
2017-09-19 22:55:18 森木 (向阳花)

呆叔厉害呀,求问怎样肉身翻墙的,跟我的技术栈蛮吻合的,我写python、go,用spark和docker等,继续修炼!

Davies
2017-09-19 23:23:36 Davies (hacking@DB)
比cephfs和lustrefs怎么样? 比cephfs和lustrefs怎么样? itfanr

lustrefs 没用过,不好评价。

cephfs 也没用过,阅读过一些文档,早期版本扩展能力有限,是单机单线程的,而且metadata 是放在block里面,当对应的磁盘出现性能问题时,整个文件系统可能卡主。现在最新的版本有多机支持,应该有不少赶紧,但整体赶紧扩展能力还是有限(文件数可以很多,但性能有限)。

Davies
2017-09-19 23:25:19 Davies (hacking@DB)
lustrefs 没用过,不好评价。 cephfs 也没用过,阅读过一些文档,早期版本扩展能力有限,是单 lustrefs 没用过,不好评价。 cephfs 也没用过,阅读过一些文档,早期版本扩展能力有限,是单机单线程的,而且metadata 是放在block里面,当对应的磁盘出现性能问题时,整个文件系统可能卡主。现在最新的版本有多机支持,应该有不少赶紧,但整体赶紧扩展能力还是有限(文件数可以很多,但性能有限)。 ... Davies

另外,ceph这个项目目前发展过于复杂,有点可能会走向 lustrefs 等HPC文件系统的老路,复杂到一般人掌控不了。

Neowoo
2017-09-21 16:06:26 Neowoo

大牛你好,我是关注DPARK后来到这里的,请问一下有没有DPARK SQL的例子,比如建表,查询等等,我看到里面有DQUARY的模块,但是网上找不到任何例子或者文档,能不能分享两个? 非常感谢!

渴望力量の柠叔
2017-09-23 01:05:29 渴望力量の柠叔 (人要学会望天)

阿里云呢?

Dj-Rocketeer
2017-09-27 11:20:59 Dj-Rocketeer

大牛你好!想问一下最初级的一个问题!作为一个国内开发者,怎样才能参与apache spark的开发呢?或者说想要参与开源项目总是没有头绪,请问如何能更好的参与其中!

Davies
2017-09-30 15:38:53 Davies (hacking@DB)
阿里云呢? 阿里云呢? 渴望力量の柠叔

JuiceFS 已经支持阿里云,现在就可以注册使用了。

Davies
2017-09-30 15:39:27 Davies (hacking@DB)
大牛你好,我是关注DPARK后来到这里的,请问一下有没有DPARK SQL的例子,比如建表,查询等等,我 大牛你好,我是关注DPARK后来到这里的,请问一下有没有DPARK SQL的例子,比如建表,查询等等,我看到里面有DQUARY的模块,但是网上找不到任何例子或者文档,能不能分享两个? 非常感谢! ... Neowoo

DQuery 是个非常不成熟的模块,建议使用 Spark SQL

Davies
2017-09-30 15:41:04 Davies (hacking@DB)
大牛你好!想问一下最初级的一个问题!作为一个国内开发者,怎样才能参与apache spark的开发呢? 大牛你好!想问一下最初级的一个问题!作为一个国内开发者,怎样才能参与apache spark的开发呢?或者说想要参与开源项目总是没有头绪,请问如何能更好的参与其中! ... Dj-Rocketeer

Apache Spark 的社区还是非常友好的,你可以从使用 Spark 开始,遇到问题去报Bug,或者看 JIRA 里面别人报的问题尝试复现和解决,也欢迎订阅 Spark Users 的邮件列表参与社区讨论。

渴望力量の柠叔
2017-09-30 17:35:34 渴望力量の柠叔 (人要学会望天)
JuiceFS 已经支持阿里云,现在就可以注册使用了。 JuiceFS 已经支持阿里云,现在就可以注册使用了。 Davies

好顶赞,我去注册一个

Davies
2017-10-10 14:11:09 Davies (hacking@DB)
fatal error: unexpected signal during runtime execution fatal error: unexpected signal du fatal error: unexpected signal during runtime execution fatal error: unexpected signal during runtime execution [signal SIGSEGV: segmentation violation code=0x1 addr=0x47 pc=0x7fa513db2070] runtime stack: runtime.throw(0xcc797a, 0x2a) /usr/local/go/src/runtime/panic.go:596 +0x95 runtime.sigpanic() /usr/local/go/src/runtime/signal_unix.go:274 +0x2db goroutine 50 [syscall, locked to thread]: runtime.cgocall(0xa310f0, 0xc42023dab0, 0xcc6e4c) /usr/local/go/src/runtime/cgocall.go:131 +0xe2 fp=0xc42023da70 sp=0xc42023da30 net._C2func_getaddrinfo(0x7fa5180008c0, 0x0, 0xc420250090, 0xc420258008, 0x0, 0x0, 0x0) net/_obj/_cgo_gotypes.go:86 +0x68 fp=0xc42023dab0 sp=0xc42023da70 net.cgoLookupIPCNAME.func2(0x7fa5180008c0, 0x0, 0xc420250090, 0xc420258008, 0x0, 0x50, 0x50) /usr/local/go/src/net/cgo_unix.go:151 +0x171 fp=0xc42023db10 sp=0xc42023dab0 net.cgoLookupIPCNAME(0xc420230020, 0x9, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0) /usr/local/go/src/net/cgo_unix.go:151 +0x1bd fp=0xc42023dc10 sp=0xc42023db10 net.cgoLookupIP(0x126bf40, 0xc420014420, 0xc420230020, 0x9, 0xcb4a7d, 0x11, 0xc4201ff630, 0x4103c2, 0xc420234000, 0x17ac) /usr/local/go/src/net/cgo_unix.go:209 +0x3a1 fp=0xc42023dd78 sp=0xc42023dc10 net.(*Resolver).lookupIP(0x2509ca5, 0x126bf40, 0xc420014420, 0xc420230020, 0x9, 0xc4201ff668, 0x40feb6, 0x7fa52186d7e0, 0xc4201ff6e8, 0x55b942) /usr/local/go/src/net/lookup_unix.go:69 +0x125 fp=0xc42023dde8 sp=0xc42023dd78 net.(*Resolver).(net.lookupIP)-fm(0x126bf40, 0xc420014420, 0xc420230020, 0x9, 0x3, 0xc420230020, 0xe, 0x0, 0x0) /usr/local/go/src/net/lookup.go:156 +0x56 fp=0xc42023de48 sp=0xc42023dde8 net.glob..func11(0x126bf40, 0xc420014420, 0xc420230040, 0xc420230020, 0x9, 0xc420078000, 0xc420230010, 0x7fa5238cbe10, 0x0, 0xc4201ff738) /usr/local/go/src/net/hook.go:19 +0x52 fp=0xc42023dea0 sp=0xc42023de48 net.(*Resolver).LookupIPAddr.func1(0xc420230001, 0xc420236000, 0xc4201ff768, 0x6918df) /usr/local/go/src/net/lookup.go:162 +0x5c fp=0xc42023df28 sp=0xc42023dea0 internal/singleflight.(*Group).doCall(0x1291840, 0xc420226050, 0xc420230020, 0x9, 0xc420250000) /usr/local/go/src/internal/singleflight/singleflight.go:93 +0x3c fp=0xc42023dfb8 sp=0xc42023df28 runtime.goexit() /usr/local/go/src/runtime/asm_amd64.s:2197 +0x1 fp=0xc42023dfc0 sp=0xc42023dfb8 created by internal/singleflight.(*Group).DoChan /usr/local/go/src/internal/singleflight/singleflight.go:86 +0x323 ... 啊声

这个问题已经解决了,是glibc 的静态编译导致的,多谢反馈!


Davies
Davies (San Francisco Bay Area, United States)

blog地址:blog.daviesliu.net/ 酷爱编程,以此为乐

Davies的最新日记  · · · · · ·  ( 全部 )

热门话题  · · · · · ·  ( 去话题广场 )

推荐这篇日记的豆列  · · · · · ·  ( 全部 )